ตัวสร้าง Robots.txt

สิ่งที่ robots.txt ทำ

ไฟล์ robots.txt บอก crawlers ว่าส่วนใดของไซต์ที่พวกเขาควรเยี่ยมชม, ข้าม, หรือปฏิบัติตามกฎพิเศษก่อนที่พวกเขาจะเริ่มดึงหน้า

เครื่องมือนี้ช่วยอย่างไร

เครื่องมือนี้ให้คุณเลือกนโยบายการเก็บข้อมูลเริ่มต้น, เพิ่มเส้นทางที่อนุญาตและไม่อนุญาตอย่างชัดเจน, ตั้งค่าความล่าช้าในการเก็บข้อมูลที่ไม่บังคับ, และเพิ่มคำสั่งแผนผังหรือโฮสต์โดยไม่ต้องเขียนไฟล์ด้วยมือ

กรณีการใช้งานทั่วไป

• บล็อกพื้นที่ผู้ดูแลระบบ, หน้าค้นหา, ตัวกรอง, หรือเครื่องมือภายในจากการเข้าถึงของ crawler ทั่วไป
• อนุญาตให้ส่วนของไซต์ที่เป็นส่วนตัวโดยค่าเริ่มต้นเปิดเผยเฉพาะเส้นทางสาธารณะไม่กี่เส้นทาง
• เผยแพร่ตำแหน่งแผนผังหลักเพื่อให้เครื่องมือค้นค้าสามารถค้นพบ URL ใหม่ได้เร็วขึ้น
• สร้างแม่แบบ robots.txt เริ่มต้นสำหรับการทดสอบ, การโยกย้าย, และเช็คลิสต์การเปิดตัว

แนวทางปฏิบัติที่ดีที่สุดและข้อจำกัด

Robots.txt เป็นคำสั่งการเก็บข้อมูล ไม่ใช่ระบบควบคุมการเข้าถึง ดังนั้นเนื้อหาที่ละเอียดอ่อนควรได้รับการป้องกันด้วยการตรวจสอบสิทธิ์หรือข้อจำกัดอื่น ๆ ที่อยู่ด้านเซิร์ฟเวอร์

Crawler ที่แตกต่างกันสนับสนุนคำสั่งที่แตกต่างกัน ตัวอย่างเช่น คำสั่งโฮสต์ไม่เป็นสากลและความล่าช้าในการเก็บข้อมูลอาจถูกมองข้ามโดยบางบอท ดังนั้นควรตรวจสอบกฎสุดท้ายของคุณกับ crawler ที่คุณสนใจ