Robots.txt làm gì

Tệp robots.txt cho biết cho các trình thu thập dữ liệu các phần nào của một trang web mà họ nên truy cập, bỏ qua hoặc xử lý với các quy tắc đặc biệt trước khi bắt đầu lấy các trang.

Cách mà trình tạo này giúp

Công cụ này cho phép bạn chọn một chính sách thu thập mặc định, thêm các đường dẫn cho phép và không cho phép rõ ràng, đặt một khoảng thời gian thu thập tùy chọn và thêm các chỉ thị sơ đồ hoặc máy chủ mà không cần viết tệp bằng tay.

Các trường hợp sử dụng phổ biến

• Chặn các khu vực quản trị, trang tìm kiếm, bộ lọc hoặc công cụ nội bộ khỏi việc truy cập rộng rãi của trình thu thập dữ liệu.
• Cho phép một phần trang web mặc định là riêng tư chỉ hiển thị một vài đường dẫn công khai.
• Công bố vị trí sơ đồ chính để các công cụ tìm kiếm có thể phát hiện các URL mới nhanh hơn.
• Tạo một mẫu robots.txt khởi đầu cho các giai đoạn, di chuyển và danh sách kiểm tra ra mắt.

Các thực tiễn tốt nhất và hạn chế

Robots.txt là một chỉ thị thu thập, không phải là một hệ thống kiểm soát truy cập, vì vậy nội dung nhạy cảm vẫn nên được bảo vệ bằng xác thực hoặc các hạn chế khác ở phía máy chủ.

Các trình thu thập khác nhau hỗ trợ các chỉ thị khác nhau. Ví dụ, chỉ thị máy chủ không phải là phổ quát và khoảng thời gian thu thập có thể bị một số bot bỏ qua, vì vậy hãy luôn xác thực các quy tắc cuối cùng của bạn với các trình thu thập mà bạn quan tâm.