Robots.txt ne yapar

Robots.txt dosyası, tarayıcılara bir sitenin hangi kısımlarını ziyaret etmeleri, atlamaları veya özel kurallarla işlemeleri gerektiğini söyler.

Bu üretici nasıl yardımcı olur

Bu araç, varsayılan bir tarama politikası seçmenizi, açıkça izin verilen ve yasaklanan yollar eklemenizi, isteğe bağlı bir tarama gecikmesi ayarlamanızı ve dosyayı elle yazmadan site haritası veya ana bilgisayar direktifleri eklemenizi sağlar.

Ortak kullanım durumları

• Yönetici alanlarını, arama sayfalarını, filtreleri veya iç araçları geniş tarayıcı erişiminden engelleyin.
• Özel olarak varsayılan bir site bölümünün yalnızca birkaç kamu yolu açmasına izin verin.
• Ana site haritası konumunu yayınlayarak arama motorlarının yeni URL'leri daha hızlı keşfetmesini sağlayın.
• Aşama, geçişler ve lansman kontrol listeleri için başlangıç robots.txt şablonu oluşturun.

En iyi uygulamalar ve sınırlamalar

Robots.txt bir tarama direktifidir, erişim kontrol sistemi değildir, bu nedenle hassas içerikler hala kimlik doğrulama veya diğer sunucu tarafı kısıtlamaları ile korunmalıdır.

Farklı tarayıcılar farklı direktifleri destekler. Örneğin, ana bilgisayar direktifi evrensel değildir ve bazı botlar tarama gecikmesini göz ardı edebilir, bu nedenle son kurallarınızı önem verdiğiniz tarayıcılarla her zaman doğrulayın.