vi
Việt Nam
Tệp Robots.txt là gì? cách tạo tệp chuẩn
Đăng bởi:
Đinh Văn KhiênĐăng ngày:
Mar 31, 2021Đăng ở:
Marketing
vi
Đăng bởi:
Đinh Văn KhiênĐăng ngày:
Mar 31, 2021Đăng ở:
MarketingTệp robots.txt là một trong những tệp không thể thiếu trong một website phát triển SEO, vậy mục đích chỉnh của tệp robots là gì? Hãy cũng SUDO tìm hiểu sau bài viết dưới đây.
Bạn có thể sử dụng tệp robot cho việc quản lý lưu lượng nếu bạn cho rằng máy chủ nhận quá nhiều yêu cầu đến từ google. Tệp cũng sử dụng với mục đích thu thập dữ liệu các trang không quan trọng hoặc giống nhau trên web. Tệp robot mục đích không phải sử dụng để ngăn chặn tìm kiếm từ google, bộ máy tìm kiếm vấn có thể lập chỉ mục trang mà không cần vào trang đó nếu có các backlink từ trang khác trỏ tới. Cho nên muốn chặn hoàn toàn google không lập chỉ mục trong website, bạn hãy sử dụng lệnh noindex.
Robots.txt sử dụng như nào
Bạn cũng có thể sử dụng để ngăn các tệp tài nguyên như hình ảnh, các tập lệnh. Nhưng tuy nhiên nếu chặn mà tệp tìm kiếm không hiểu nội dung của bạn thì việc chặn này sẽ làm giảm độ uy tín website của bạn.
Ví dụ cấu trúc file robots.txt chuẩn sẽ như sau:
User-agent: *
Allow:/
Sitemap: https://url/sitemap.xml/
Đây là cấu trúc sitemap chuẩn của một website. Nếu bạn muốn chặn google lập chỉ mục một trang bất kì nào đấy, thì có thể thêm Disallow: đường dẫn vào. Ví dụ:
User-agent: *
Allow:/
Disallow:/tim-kiem/
Disallow:/gio-hang/
Disallow:/dat-hang-thanh-cong/
Disallow:/dat-hang/
Disallow:/404.html/
Disallow:/may-loc-nuoc-karofi/*
Sitemap: https://locnuocantoan.com/sitemap.xml/
Để kiểm tra file robots.txt đã hoạt động trên website của bạn chưa, thì cũng có thể truy cập tại https://www.google.com/webmasters/tools/robots-testing-tool để có thể kiểm tra được chính xác nhất.
Bên trên là toàn bộ thông tin bài viết cách tạo tệp Robots.txt chuẩn, hãy nhớ thêm tệp robots.txt để tránh tình trạng quá tải sever vì Google yêu cầu nhé.
Là công ty hoạt động trong lĩnh vực thương mại điện tử chuyên cung cấp giải pháp trực tuyến và toàn diện cho người dùng thông minh và doanh nghiệp. Những người muốn tiết kiệm chi phí, nhưng vẫn có một nền tảng đảm bảo giúp công việc phát triển bền vững.
Liên hệ với chúng tôi:
19 Cổ Vân, Việt Hùng, Đông Anh, Hà Nội
7 Quang Trung, P. Quang Trung, TP Vinh
Hotline: 0989022022 - 024 666 06 644
Email: [email protected]
Bình luận
Để lại bình luận
Email và số điện thoại sẽ không được công khai. Những trường bắt buộc được đánh dấu *