Nhiều anh em làm web hay gặp tình trạng bài viết đăng cả tuần mà Google không thèm index, hoặc bị báo lỗi thu thập dữ liệu trong Search Console. Một trong những nguyên nhân "khoai" nhất chính là cấu hình sai tệp robots.txt. Để giúp anh em đỡ "trầy da tróc vảy" trong việc mò mẫm cấu hình, hôm nay DevSharePro chia sẻ công cụ tạo tệp robots.txt chuẩn SEO cho Blogger hoàn toàn tự động. Chỉ cần vài cú click chuột là xong!
{getToc} $title={Mục lục bài viết}Tệp Robots.txt là gì? Vì sao Blogger cần cấu hình chuẩn?
Nói một cách ngắn gọn, robots.txt giống như một "ông bảo vệ" đứng ở cửa website của bạn. Ông này sẽ cầm một danh sách để chỉ mặt điểm tên xem bot của Google, Bing, Yahoo... được phép đi vào ngóc ngách nào để thu thập dữ liệu (crawl), và bị cấm ở đâu.
Nếu cấu hình sai, anh em có thể vô tình "đuổi" luôn Googlebot ra khỏi nhà, dẫn đến việc bài viết không bao giờ xuất hiện trên trang tìm kiếm. Coi như mọi công sức cày cuốc SEO đi tong!
Mặc định Blogger đã có sẵn một tệp robots.txt, nhưng để tối ưu chuẩn SEO nhất, đặc biệt là khai báo Sitemap chính xác giúp Google index bài viết nhanh hơn, anh em bắt buộc nên tự tạo một tệp custom.
Công cụ tạo tệp Robots.txt tự động từ DevSharePro
Thay vì phải tự viết tay dễ dính lỗi cú pháp, tụi mình đã code sẵn một công cụ nhỏ dưới đây. Các chiến hữu chỉ cần nhập đúng địa chỉ blog của mình, nhấn nút là có ngay đoạn code "điểm ăn tiền" chuẩn không cần chỉnh.
Hướng dẫn thêm tệp Robots.txt vào Blogger
Sau khi nhấn nút Copy để lấy được đoạn code ở trên, anh em chỉ cần thực hiện vài bước đơn giản sau để cập nhật nó lên website:
- Bước 1: Đăng nhập vào trang quản trị Blogger của bạn.
- Bước 2: Ở menu bên trái, tìm và chọn mục Cài đặt (Settings).
- Bước 3: Cuộn xuống phần Trình thu thập dữ liệu và lập chỉ mục (Crawlers and indexing).
- Bước 4: Bật công tắc xanh ở mục Bật robots.txt tùy chỉnh (Enable custom robots.txt).
- Bước 5: Nhấp vào dòng robots.txt tùy chỉnh, dán toàn bộ đoạn code vừa copy vào đó và bấm Lưu.
Lưu ý!
Chỉ sử dụng robots.txt tùy chỉnh khi bạn thực sự hiểu mình đang làm gì. Nếu tự ý chỉnh sửa sai cú pháp hoặc chặn nhầm file, website của bạn có thể bị rớt hạng không phanh hoặc "mất tích" khỏi Google. Tốt nhất cứ dùng công cụ tạo tự động của DevSharePro cho chắc ăn nhé anh em!{alertWarning}
Lời kết
Chỉ với vài thao tác đơn giản, anh em đã có thể tự cấu hình xong tệp robots.txt chuẩn SEO cho chiếc blog của mình. Đừng để những lỗi lặt vặt về kỹ thuật này cản trở hành trình lên top Google hay gây rào cản khi làm website nhé!
Nếu thấy bài viết và công cụ này hữu ích, đừng ngần ngại chia sẻ nó cho các bạn bè khác cùng dùng. Trong quá trình cài đặt, nếu gặp vấn đề gì "khoai" quá, cứ để lại bình luận bên dưới, DevSharePro sẽ hỗ trợ anh em fix lỗi nhanh nhất có thể. Chúc anh em thành công!