vi

vietnamese Việt Nam

Tệp Robots.txt là gì? cách tạo tệp chuẩn

Đăng bởi:

Đinh Văn Khiên

Đăng ngày:

Mar 31, 2021

Đăng ở:

Marketing

Tệp robots.txt là một trong những tệp không thể thiếu trong một website phát triển SEO, vậy mục đích chỉnh của tệp robots là gì? Hãy cũng SUDO tìm hiểu sau bài viết dưới đây.

Tệp robots.txt nên được sử dụng cho mục đích gì?

Bạn có thể sử dụng tệp robot cho việc quản lý lưu lượng nếu bạn cho rằng máy chủ nhận quá nhiều yêu cầu đến từ google. Tệp cũng sử dụng với mục đích thu thập dữ liệu các trang không quan trọng hoặc giống nhau trên web. Tệp robot mục đích không phải sử dụng để ngăn chặn tìm kiếm từ google, bộ máy tìm kiếm vấn có thể lập chỉ mục trang mà không cần vào trang đó nếu có các backlink từ trang khác trỏ tới. Cho nên muốn chặn hoàn toàn google không lập chỉ mục trong website, bạn hãy sử dụng lệnh noindex.

Robots.txt sử dụng như nào

Robots.txt sử dụng như nào

Bạn cũng có thể sử dụng để ngăn các tệp tài nguyên như hình ảnh, các tập lệnh. Nhưng tuy nhiên nếu chặn mà tệp tìm kiếm không hiểu nội dung của bạn thì việc chặn này sẽ làm giảm độ uy tín website của bạn.

Làm file robots.txt chuẩn

Ví dụ cấu trúc file robots.txt chuẩn sẽ như sau:

User-agent: *

Allow:/

Sitemap: https://url/sitemap.xml/

Đây là cấu trúc sitemap chuẩn của một website. Nếu bạn muốn chặn google lập chỉ mục một trang bất kì nào đấy, thì có thể thêm Disallow: đường dẫn vào. Ví dụ:

User-agent: *

Allow:/

Disallow:/tim-kiem/

Disallow:/gio-hang/

Disallow:/dat-hang-thanh-cong/

Disallow:/dat-hang/

Disallow:/404.html/

Disallow:/may-loc-nuoc-karofi/*

Sitemap: https://locnuocantoan.com/sitemap.xml/

Để kiểm tra file robots.txt đã hoạt động trên website của bạn chưa, thì cũng có thể truy cập tại https://www.google.com/webmasters/tools/robots-testing-tool để có thể kiểm tra được chính xác nhất.

KẾT LUẬN

Bên trên là toàn bộ thông tin bài viết cách tạo tệp Robots.txt chuẩn, hãy nhớ thêm tệp robots.txt để tránh tình trạng quá tải sever vì Google yêu cầu nhé.

Bình luận

Để lại bình luận

Email và số điện thoại sẽ không được công khai. Những trường bắt buộc được đánh dấu *

Repository deleted Your repository has remove
Loading