Tạo tệp Robot txt

Nhiều anh em làm web hay gặp tình trạng bài viết đăng cả tuần mà Google không thèm index, hoặc bị báo lỗi thu thập dữ liệu trong Search Console. Một trong những nguyên nhân "khoai" nhất chính là cấu hình sai tệp robots.txt . Để giúp anh em đỡ "trầy da tróc vảy" trong việc mò mẫm cấu hình, hôm nay DevSharePro chia sẻ công cụ tạo tệp robots.txt chuẩn SEO cho Blogger hoàn toàn tự động. Chỉ cần vài cú click chuột là xong! {getToc} $title={Mục lục bài viết} Tệp Robots.txt là gì? Vì sao Blogger cần cấu hình chuẩn? Nói một cách ngắn gọn, robots.txt giống như một "ông bảo vệ" đứng ở cửa website của bạn. Ông này sẽ cầm một danh sách để chỉ mặt điểm tên xem bot của Google, Bing, Yahoo... được phép đi vào ngóc ngách nào để thu thập dữ liệu (crawl), và bị cấm ở đâu. Nếu cấu hình sai, anh em có thể vô tình "đuổi" luôn Googlebot ra khỏi nhà, dẫn đến việc bài viết không bao giờ xuất hiện trên trang tìm kiếm. Coi như mọi công sức cày cuốc SEO đi tong! Mặc định Blogge…