Robots.txt 的作用

Robots.txt 文件告诉爬虫哪些网站部分应该访问、跳过或在开始获取页面之前应用特殊规则。

这个生成器的帮助

该工具允许您选择默认爬虫策略，添加明确的允许和不允许路径，设置可选的爬虫延迟，并在不手动编写文件的情况下附加网站地图或主机指令。

常见用例

• 阻止管理员区域、搜索页面、过滤器或内部工具的广泛爬虫访问。
• 允许默认私有的网站部分仅公开少数公共路径。
• 发布主要网站地图位置，以便搜索引擎可以更快地发现新 URL。
• 为暂存、迁移和发布检查清单创建一个起始的 robots.txt 模板。

最佳实践和限制

Robots.txt 是一种爬虫指令，而不是访问控制系统，因此敏感内容仍应通过身份验证或其他服务器端限制进行保护。

不同的爬虫支持不同的指令。例如，主机指令不是通用的，某些机器人可能会忽略爬虫延迟，因此始终根据您关心的爬虫验证最终规则。