O que faz o robots.txt

Um arquivo robots.txt informa aos crawlers quais partes de um site eles devem visitar, pular ou tratar com regras especiais antes de começarem a buscar páginas.

Como este gerador ajuda

Esta ferramenta permite que você escolha uma política de rastreamento padrão, adicione caminhos de permissão e negação explícitos, defina um atraso de rastreamento opcional e anexe diretivas de sitemap ou host sem precisar escrever o arquivo manualmente.

Casos de uso comuns

• Bloquear áreas administrativas, páginas de pesquisa, filtros ou ferramentas internas do acesso amplo de rastreadores.
• Permitir que uma seção do site seja privada por padrão e exponha apenas alguns caminhos públicos.
• Publique a localização do sitemap principal para que os mecanismos de busca possam descobrir URLs novos mais rapidamente.
• Criar um modelo de robots.txt inicial para estágios, migrações e listas de verificação de lançamento.

Melhores práticas e limitações

Robots.txt é uma diretiva de rastreamento, não um sistema de controle de acesso, portanto, conteúdo sensível ainda deve ser protegido com autenticação ou outras restrições do lado do servidor.

Diretivas diferentes são suportadas por diferentes crawlers. Por exemplo, a diretiva host não é universal e o crawl-delay pode ser ignorado por alguns bots, então sempre valide suas regras finais com os crawlers que você se importa.