File robots.txt chuẩn cho Blogspot sẽ kiểm soát công cụ tìm kiếm thu thập thông tin cho một trang web. Điều đó có nghĩa là nó đóng một vai trò quan trọng trong việc tối ưu hóa công cụ tìm kiếm của blog Blogger. Trong bài viết này, chúng tôi sẽ hiểu cách triển khai tốt nhất của File robots.txt chuẩn cho Blogspot mới nhất 2021.
Nội dung
File robots.txt là gì?
File robots.txt thông báo cho công cụ tìm kiếm về các trang nên và không nên thu thập thông tin. Do đó, nó cho phép google kiểm soát hoạt động của các bot công cụ tìm kiếm.
Trong tệp robots.txt, chúng tôi khai báo các hàm user-agent, allow, disallow, sitemap cho các công cụ tìm kiếm như Google, Bing, Yandex, v.v. Hãy hiểu ý nghĩa của tất cả các thuật ngữ này.
Thông thường, chúng tôi sử dụng thẻ meta rô bốt cho tất cả các công cụ tìm kiếm thu thập thông tin bot để lập chỉ mục các bài đăng và trang blog trên toàn bộ web. Nhưng nếu bạn muốn tiết kiệm ngân sách thu thập dữ liệu, chặn bot công cụ tìm kiếm trong một số phần của trang web, bạn phải hiểu tệp robots.txt cho blog Blogger.
Phân tích File Robots.txt mặc định của Blog Blogger
Để tạo tệp robots.txt tùy chỉnh hoàn hảo cho blog BlogSpot của Blogger. Trước tiên, chúng ta phải hiểu cấu trúc của blog Blogger và phân tích tệp robots.txt mặc định.
Theo mặc định, tệp này trông giống như:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
- Dòng đầu tiên của tệp này khai báo loại bot . Đây là Google AdSense, không được phép sử dụng. Điều đó có nghĩa là quảng cáo AdSense có thể xuất hiện trên toàn bộ trang web.
- Tác nhân người dùng tiếp theo là * , có nghĩa là tất cả các bot của công cụ tìm kiếm không được phép vào / các trang tìm kiếm . Điều đó có nghĩa là không được phép đối với tất cả các trang tìm kiếm và trang nhãn (cùng một cấu trúc URL).
- Và thẻ allow xác định rằng tất cả các trang khác ngoài phần không cho phép sẽ được phép thu thập thông tin.
- Dòng tiếp theo chứa sơ đồ trang web bài đăng cho blog Blogger.
Đây là một tệp gần như hoàn hảo để kiểm soát các bot của công cụ tìm kiếm và cung cấp hướng dẫn cho các trang để thu thập thông tin hoặc không thu thập thông tin. Xin lưu ý, ở đây, những gì được phép thu thập thông tin sẽ không đảm bảo rằng các trang sẽ lập chỉ mục.
Nhưng tệp này cho phép lập chỉ mục các trang lưu trữ, điều này có thể gây ra sự cố nội dung trùng lặp. Điều đó có nghĩa là nó sẽ tạo ra rác cho blog Blogger.
Tạo File robots.txt chuẩn cho Blogspot mới nhất 2021
Chúng tôi đã hiểu cách đặt File robots.txt mặc định thực hiện chức năng của nó cho blog Blogger. Hãy tối ưu hóa nó để SEO tốt nhất.
File robots.txt mặc định cho phép kho lưu trữ lập chỉ mục nguyên nhân gây ra sự cố nội dung trùng lặp. Chúng tôi có thể ngăn chặn vấn đề nội dung trùng lặp bằng cách ngăn các bot thu thập thông tin phần lưu trữ. Đối với điều này, chúng tôi phải áp dụng quy tắc Không cho phép / 20 * vào tệp robots.txt. Nhưng quy tắc này sẽ ngừng thu thập thông tin của các trang. Vì vậy, để tránh điều này, chúng tôi phải áp dụng quy tắc Cho phép mới cho phần /*.html cho phép bot thu thập dữ liệu các bài đăng và trang.
Sơ đồ trang web mặc định bao gồm các bài đăng, không phải các trang. Vì vậy, bạn phải thêm sơ đồ trang web cho các trang nằm trong https://domain.blogspot.com/sitemap-pages.xml hoặc https://www.domain.com/sitemap-pages.xml cho miền tùy chỉnh.
Vì vậy, file robots.txt chuẩn cho blogspot sẽ trông như thế này.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /20*
Allow: /*.html
Sitemap: https://www.doanhaiblog.com/sitemap.xml
Sitemap: https://www.doanhaiblog.com/sitemap-pages.xml
Bạn phải thay thế www.doanhaiblog.com bằng miền Blogger hoặc tên miền tùy chỉnh của mình. Ví dụ: giả sử tên miền tùy chỉnh của bạn là www.abcd.com, thì sơ đồ trang web sẽ có tại https://www.abcd.com/sitemap.xml. Ngoài ra, bạn có thể kiểm tra robots.txt hiện tại tại https://www.doanhaiblog.com/robots.txt
Tệp trên, cài đặt là thực hành tốt nhất cho robots.txt cũng như cho SEO. Điều này sẽ tiết kiệm ngân sách thu thập dữ liệu cho trang web và sẽ giúp blog Blogger xuất hiện trong kết quả tìm kiếm. Cùng với việc bạn phải viết nội dung thân thiện với SEO để xuất hiện trong kết quả tìm kiếm.
Để có cài đặt tốt nhất có thể cho robots.txt và thẻ meta rô bốt, hãy thử thẻ meta rô bốt nâng cao và tệp robots.txt. Sự kết hợp này là một trong những phương pháp hay nhất để thúc đẩy SEO của blog Blogger.
Làm cách nào để chỉnh sửa file Robots.txt của Blogspot?
File Robots.txt luôn được đặt ở cấp cơ sở của bất kỳ trang web nào. Nhưng trong Blospot, không có quyền truy cập vào root, vậy làm thế nào để chỉnh sửa file robots.txt này?
Blogspot cung cấp tất cả cài đặt tệp gốc trong cài đặt của nó như file robots.txt và ads.txt. Bạn phải đăng nhập vào tài khoản Blogger và chỉnh sửa file robots.txt.
- Đi tới Trang tổng quan Blogger và nhấp vào tùy chọn cài đặt,
- Cuộn xuống trình thu thập thông tin và phần lập chỉ mục,
- Bật robots.txt tùy chỉnh bằng nút chuyển đổi.
- Nhấp vào robots.txt tùy chỉnh , một cửa sổ sẽ mở ra, dán tệp robots.txt và cập nhật.
Sau khi cập nhật file robots.txt tùy chỉnh, hãy kiểm tra tệp đó bằng cách truy cập https://www.doanhaiblog.com/robots.txt, nơi www.doanhaiblog.com sẽ được thay thế bằng địa chỉ miền của bạn.
Phần kết luận.
Chúng tôi đã hiểu chức năng của file robots.txt. Người dùng blog của Blogspot có thể thiết lập file robots.txt ở trên để có kết quả tốt nhất.
Trong file robots.txt mặc định, phần lưu trữ cũng được phép thu thập thông tin, điều này gây ra sự cố trùng lặp nội dung cho công cụ tìm kiếm. Và do đó công cụ tìm kiếm bối rối về những gì sẽ hiển thị trong kết quả tìm kiếm và không xem xét các trang của bạn cho kết quả tìm kiếm.
Nó có nghĩa là các thẻ Robots rất cần thiết cho SEO của một trang web. Bạn có thể cân nhắc kết hợp cả file robots.txt và thẻ meta rô bốt trong blog Blogger để có kết quả tốt nhất.
Tôi hy vọng bạn thích bài viết này. Nếu có bất kỳ khó khăn hoặc câu hỏi nào liên quan đến Blospot hoặc WordPress SEO, bạn có thể bình luận bên dưới.
