Sobre
Gere um robots.txt limpo para buscadores, crawlers de IA e SEO técnico
O que faz o robots.txt
O arquivo robots.txt diz aos crawlers quais partes do site eles podem visitar, quais devem pular e quais têm regras especiais, antes de começarem a buscar páginas.
Como este gerador ajuda
Escolha a política padrão de rastreamento, adicione caminhos com allow e disallow, defina um crawl-delay se quiser e inclua as diretivas sitemap ou host sem escrever o arquivo à mão.
Casos de uso comuns
- Impeça crawlers de acessar áreas administrativas, páginas de busca, filtros ou ferramentas internas.
- Deixe uma seção do site fechada por padrão e libere só alguns caminhos públicos.
- Informe onde fica o sitemap principal para os buscadores acharem URLs novas mais rápido.
- Gere um robots.txt inicial para staging, migrações e checklists de lançamento.
Boas práticas e limitações
O robots.txt orienta o rastreamento, mas não controla acesso. Conteúdo sensível precisa de autenticação ou outra proteção no servidor.
Cada crawler suporta diretivas diferentes. A diretiva host não é universal e alguns bots ignoram o crawl-delay, então valide as regras finais com os crawlers que importam para você.