Robots.txt là một dạng tệp đơn giản được tạo bằng công cụ notepad, nó cho phép Google có thể thu nhập dữ liệu của một website hay trang blog một cách dễ dàng và nhanh chóng.
Robots.txt là một dạng text chứa các câu lệnh để điều hướng cho các robot tìm kiếm của các công cụ tìm kiếm được phép và không được phép index nội dung nài trên website/blog. Robots.txt là một trong những yếu tố quan trọng trong việc tối ưu SEO Blogspot.
File Robots.txt chuẩn Seo nhất
Nói chuẩn nhất thì nói chung thôi, thật ra file Robots.txt sẽ tùy vào chủ ý của chủ Blog mà cho phép hay không cho phép index những nội dung nào.
Dưới đây là một file robots.txt chuẩn Seo mình tìm được trên Internet và đang áp dụng trên Blog nhỏ mình. Bạn có thể kham khảo nhé!
Ưu điểm của file: Index bài viết lên Google cực nhanh.
User-agent: Mediapartners-GoogleDisallow:
User-agent: *
Allow: /search
Disallow: /search*
Allow: /
Allow: *max-results=10
Allow: /search/label/
Disallow: *archive.html
Disallow: *?updated-max*
Disallow: *?m=0
Sitemap: https://blogcuaban.com/posts/default?orderby=UPDATED
Sitemap: https://blogcuaban/sitemap.xml
Sitemap: https://blogcuaban.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Lưu ý:
blogcuaban: hãy thay bằng tên blog nhé (abc.blogspot.com)
