Việt Nam
Tệp Robots.txt là gì? cách tạo tệp chuẩn
Đăng bởi:
Đinh Văn KhiênĐăng ngày:
Mar 31, 2021Đăng ở:
MarketingĐăng bởi:
Đinh Văn KhiênĐăng ngày:
Mar 31, 2021Đăng ở:
MarketingTệp robots.txt là một trong những tệp không thể thiếu trong một website phát triển SEO, vậy mục đích chỉnh của tệp robots là gì? Hãy cũng SUDO tìm hiểu sau bài viết dưới đây.
Bạn có thể sử dụng tệp robot cho việc quản lý lưu lượng nếu bạn cho rằng máy chủ nhận quá nhiều yêu cầu đến từ google. Tệp cũng sử dụng với mục đích thu thập dữ liệu các trang không quan trọng hoặc giống nhau trên web. Tệp robot mục đích không phải sử dụng để ngăn chặn tìm kiếm từ google, bộ máy tìm kiếm vấn có thể lập chỉ mục trang mà không cần vào trang đó nếu có các backlink từ trang khác trỏ tới. Cho nên muốn chặn hoàn toàn google không lập chỉ mục trong website, bạn hãy sử dụng lệnh noindex.
Robots.txt sử dụng như nào
Bạn cũng có thể sử dụng để ngăn các tệp tài nguyên như hình ảnh, các tập lệnh. Nhưng tuy nhiên nếu chặn mà tệp tìm kiếm không hiểu nội dung của bạn thì việc chặn này sẽ làm giảm độ uy tín website của bạn.
Ví dụ cấu trúc file robots.txt chuẩn sẽ như sau:
User-agent: *
Allow:/
Sitemap: https://url/sitemap.xml/
Đây là cấu trúc sitemap chuẩn của một website. Nếu bạn muốn chặn google lập chỉ mục một trang bất kì nào đấy, thì có thể thêm Disallow: đường dẫn vào. Ví dụ:
User-agent: *
Allow:/
Disallow:/tim-kiem/
Disallow:/gio-hang/
Disallow:/dat-hang-thanh-cong/
Disallow:/dat-hang/
Disallow:/404.html/
Disallow:/may-loc-nuoc-karofi/*
Sitemap: https://locnuocantoan.com/sitemap.xml/
Để kiểm tra file robots.txt đã hoạt động trên website của bạn chưa, thì cũng có thể truy cập tại https://www.google.com/webmasters/tools/robots-testing-tool để có thể kiểm tra được chính xác nhất.
Bên trên là toàn bộ thông tin bài viết cách tạo tệp Robots.txt chuẩn, hãy nhớ thêm tệp robots.txt để tránh tình trạng quá tải sever vì Google yêu cầu nhé.
Sudo E-Commerce tư vấn, triển khai và xây dựng giải pháp tổng thể về Website, Phần mềm, quảng cáo cho doanh nghiệp.
Liên hệ với chúng tôi:
Tầng 3 - Dolphin Plaza (Tháp 3-4), số 6 Nguyễn Hoàng, P. Mỹ Đình 2, Q. Nam Từ Liêm, Hà Nội.
Tầng 3, Số 19 Cổ Vân, H. Đông Anh, Hà Nội.
Tầng 14 - Dầu Khí Nghệ An (Tháp A), Số 7 Quang Trung, P. Quang Trung, Tp Vinh, Nghệ An.
Hotline: 0989.022.022 - 0819.022.022 -
Email: [email protected]
Bình luận
Để lại bình luận
Email và số điện thoại sẽ không được công khai. Những trường bắt buộc được đánh dấu *