Über
Erzeuge eine saubere robots.txt für Suchmaschinen, KI-Crawler und technisches SEO
Wozu robots.txt dient
Die robots.txt sagt Crawlern, welche Teile einer Website sie besuchen, überspringen oder nach Sonderregeln behandeln sollen, bevor sie Seiten abrufen.
Was dir der Generator bringt
Mit diesem Tool wählst du eine Standard-Crawling-Regel, fügst gezielt erlaubte und gesperrte Pfade hinzu, legst optional eine Crawl-Verzögerung fest und ergänzt sitemap- oder host-Direktiven, ohne die Datei von Hand zu schreiben.
Häufige Anwendungsfälle
- Sperre Admin-Bereiche, Suchseiten, Filter oder interne Tools für Crawler.
- Lass einen Bereich der Website standardmäßig gesperrt und gib nur einzelne öffentliche Pfade frei.
- Gib den Ort der Haupt-Sitemap an, damit Suchmaschinen neue URLs schneller finden.
- Erzeuge eine robots.txt als Startpunkt für Staging, Migrationen und Launch-Checklisten.
Best Practices und Grenzen
Robots.txt ist eine Crawling-Anweisung und keine Zugriffskontrolle. Sensible Inhalte solltest du deshalb weiterhin mit Authentifizierung oder anderen serverseitigen Einschränkungen schützen.
Jeder Crawler unterstützt andere Direktiven. Die host-Direktive ist nicht universell, und manche Bots ignorieren den crawl-delay – prüfe deine Regeln deshalb mit den Crawlern, auf die es dir ankommt.