Що таке robots.txt

Файл robots.txt вказує краулерам, які частини сайту вони повинні відвідувати, пропускати або обробляти за спеціальними правилами перед початком отримання сторінок.

Як цей генератор допомагає

Цей інструмент дозволяє вибрати стандартну політику краулінгу, додати явні дозволи та заборони, встановити необов'язкову затримку краулінгу та додати директиви карти сайту або хоста без написання файлу вручну.

Звичайні випадки використання

• Блокуйте адміністративні області, сторінки пошуку, фільтри або внутрішні інструменти від широкого доступу краулера.
• Дозвольте приватному за замовчуванням розділу сайту відкривати лише кілька публічних шляхів.
• Опублікуйте основне місцезнаходження карти сайту, щоб пошукові системи могли швидше виявляти нові URL-адреси.
• Створіть початковий шаблон robots.txt для стадій, міграцій та контрольних списків запуску.

Найкращі практики та обмеження

Robots.txt є директивою для краулінгу, а не системою контролю доступу, тому чутливий вміст все ще слід захищати за допомогою аутентифікації або інших обмежень на стороні сервера.

Різні краулери підтримують різні директиви. Наприклад, директива хоста не є універсальною, а затримка краулінгу може ігноруватися деякими ботами, тому завжди перевіряйте свої остаточні правила на краулерах, які вас цікавлять.