Lỗi và cảnh báo nghĩa là gì?
Có một loạt các lỗi có thể ảnh hưởng đến tệp robots.txt của bạn, cũng như một số cảnh báo về ‘cách thực hành tốt nhất’ mà bạn có thể gặp phải khi kiểm tra tệp của mình. Đây là những thứ có thể ảnh hưởng đến SEO của bạn và cần được sửa chữa. Các cảnh báo ít quan trọng hơn và đóng vai trò là lời khuyên về cách để cải thiện tệp robots.txt của bạn. Các lỗi bạn có thể gặp phải bao gồm: URL không hợp lệ – Bạn sẽ thấy lỗi này nếu tệp robots.txt của bạn đang bị thiếu hoàn toàn. Lỗi ký tự đại diện tiềm năng – Tuy về mặt kỹ thuật, đây là cảnh báo chứ không phải lỗi, nhưng nếu bạn thấy thông báo này thì nó thường là vì tệp robots.txt của bạn có chứa một ký tự đại diện (*) trong trường Không cho phép (ví dụ: Không cho phép: /*.rss). Đây là một vấn đề về cách thực hành tốt nhất – Google cho phép các ký tự đại diện trong trường Không cho phép nhưng nó không phải là một cách thực hành được khuyến nghị. Tác nhân người dùng chung và cụ thể trong cùng một khối mã – Đây là lỗi cú pháp trong tệp robots.txt của bạn và nên được sửa để tránh các vấn đề với việc thu thập dữ liệu website của bạn. Các cảnh báo bạn có thể gặp phải bao gồm: Cho phép: / – Sử dụng lệnh cho phép sẽ không làm tổn hại xếp hạng hoặc ảnh hưởng đến website của bạn, nhưng nó không phải là cách thực hành tiêu chuẩn. Các robot chính bao gồm Google và Bing sẽ chấp nhận lệnh này, nhưng không phải tất cả các trình thu thập dữ liệu đều vậy – và nói chung, tốt nhất bạn nên làm cho tệp robots.txt của mình tương thích với tất cả các trình thu thập dữ liệu, không chỉ những công cụ lớn. Viết hoa tên trường – Mặc dù tên trường không nhất thiết nhạy loại chữ, nhưng một số trình thu thập dữ liệu có thể yêu cầu viết hoa, do đó, việc viết hoa tên trường cho các tác nhân người dùng cụ thể cũng là một ý tưởng hay. Hỗ trợ sơ đồ web – Nhiều tệp robots.txt bao gồm cả chi tiết sơ đồ web cho website đó, nhưng đây không được xem là cách thực hành tốt nhất. Tuy nhiên, cả Google và Bing đều hỗ trợ tính năng này.