Robots.txt چه کاری انجام می دهد

یک فایل robots.txt به خزنده ها می گوید که کدام قسمت های یک سایت را باید بازدید کنند، نادیده بگیرند یا با قوانین خاصی قبل از شروع به بارگذاری صفحات رفتار کنند.

این تولید کننده چگونه کمک می کند

این ابزار به شما اجازه می دهد یک سیاست خزیدن پیش فرض انتخاب کنید، مسیرهای مجاز و ممنوع را اضافه کنید، یک تأخیر خزیدن اختیاری تنظیم کنید و بدون نوشتن فایل به صورت دستی، دستورالعمل های نقشه سایت یا میزبان را اضافه کنید.

موارد استفاده رایج

• مناطق مدیریتی، صفحات جستجو، فیلترها یا ابزارهای داخلی را از دسترسی گسترده خزنده ها مسدود کنید.
• یک بخش سایت خصوصی به طور پیش فرض را اجازه دهید تا فقط چند مسیر عمومی را افشا کند.
• مکان اصلی نقشه سایت را منتشر کنید تا موتورهای جستجو بتوانند URL های جدید را سریعتر کشف کنند.
• یک الگوی شروع robots.txt برای مراحل، مهاجرت ها و چک لیست های راه اندازی ایجاد کنید.

بهترین شیوه ها و محدودیت ها

Robots.txt یک دستور خزیدن است، نه یک سیستم کنترل دسترسی، بنابراین محتوای حساس باید همچنان با احراز هویت یا سایر محدودیت های سمت سرور محافظت شود.

خزنده های مختلف از دستورات مختلف پشتیبانی می کنند. به عنوان مثال، دستور میزبان جهانی نیست و تأخیر خزیدن ممکن است توسط برخی ربات ها نادیده گرفته شود، بنابراین همیشه قوانین نهایی خود را در برابر خزنده هایی که برای شما مهم هستند، اعتبارسنجی کنید.