Что такое robots.txt

Файл robots.txt сообщает краулерам, какие части сайта они должны посещать, пропускать или обрабатывать с особыми правилами перед тем, как начать извлечение страниц.

Как этот генератор помогает

Этот инструмент позволяет вам выбрать политику обхода по умолчанию, добавить явные разрешенные и запрещенные пути, установить необязательную задержку обхода и добавить директивы карты сайта или хоста без необходимости вручную писать файл.

Общие случаи использования

• Блокируйте административные области, страницы поиска, фильтры или внутренние инструменты от широкого доступа краулеров.
• Разрешите раздел сайта, который по умолчанию является частным, открывать только несколько публичных путей.
• Опубликуйте основное местоположение карты сайта, чтобы поисковые системы могли быстрее находить новые URL-адреса.
• Создайте начальный шаблон robots.txt для тестирования, миграций и контрольных списков запуска.

Лучшие практики и ограничения

Robots.txt является директивой обхода, а не системой контроля доступа, поэтому чувствительное содержимое все равно должно быть защищено аутентификацией или другими серверными ограничениями.

Разные краулеры поддерживают разные директивы. Например, директива хоста не является универсальной, и некоторые боты могут игнорировать задержку обхода, поэтому всегда проверяйте свои окончательные правила на краулерах, которые вам важны.