Cosa fa robots.txt

Un file robots.txt indica ai crawler quali parti di un sito devono visitare, saltare o trattare con regole speciali prima di iniziare a recuperare le pagine.

Come aiuta questo generatore

Questo strumento ti consente di scegliere una politica di scansione predefinita, aggiungere percorsi espliciti di autorizzazione e divieto, impostare un ritardo di scansione opzionale e aggiungere direttive sitemap o host senza scrivere il file a mano.

Casi d'uso comuni

• Blocca aree amministrative, pagine di ricerca, filtri o strumenti interni dall'accesso ampio dei crawler.
• Consenti a una sezione del sito privata per impostazione predefinita di esporre solo alcuni percorsi pubblici.
• Pubblica la posizione principale della sitemap in modo che i motori di ricerca possano scoprire URL freschi più velocemente.
• Crea un modello di robots.txt di partenza per staging, migrazioni e checklist di lancio.

Migliori pratiche e limitazioni

Robots.txt è una direttiva di scansione, non un sistema di controllo accessi, quindi i contenuti sensibili devono comunque essere protetti con autenticazione o altre restrizioni lato server.

Diversi crawler supportano direttive diverse. Ad esempio, la direttiva host non è universale e il ritardo di scansione potrebbe essere ignorato da alcuni bot, quindi valida sempre le tue regole finali contro i crawler che ti interessano.