Và hôm nay, một trong những thứ quan trọng trong cho blogspot website của mình đó là Robots.txt. Vậy file
Robots.txt là gì?
Nói một cách ngắn gọn nhất Robots.txt là một dạng text đặc biệt không phải là HTML hay một loại nào khác. Nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm ( SE ) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.
Và ở mục tiêu của bài viết này mình sẽ chia sẻ các bạn Tệp robots.txt có sẵn mới nhất có độ hoạt động tốt và đang được mình sử dụng.
Hướng dẫn cài đặt
Bước 1: Hãy đến giao diện của bạn, đến Cài Đặt -> Tùy chọn tìm kiếm -> Robots.txt tùy chỉnhBước 2: Hãy sao chép đoạn Code bên dưới và đặt vào trong mục Robots.txt tùy chỉnh ở bước 1 nhé.
Ở mục ĐỊA CHỈ BLOG các bạn hãy đặt tên miền của mình nhé.User-agent: Mediapartners-GoogleDisallow:User-agent: *Allow: /Allow: /search/label/Disallow: *max-results=*Disallow: *archive.htmlDisallow: *?m=0Disallow: /search?*Disallow: *?showComment=*Disallow: *?spref=fbDisallow: *?spref=twDisallow: *?spref=gpDisallow: *?utm_source=*Sitemap: ĐỊA CHỈ BLOG/feeds/posts/default?orderby=UPDATEDSitemap: ĐỊA CHỈ BLOG/atom.xml?redirect=false&start-index=1&max-results=500
Đến đây là đã hoàn thành việc thiết lập Robots.txt cho blogspot rồi nhé. Chúc các bạn thành công.