Пока ничего — добавьте из списка ниже.

Ресторан, путешествия, аренда…
Организуйте групповые расходы с гибкостью таблицы.
Файл robots.txt сообщает краулерам, какие части сайта они должны посещать, пропускать или обрабатывать с особыми правилами перед тем, как начать извлечение страниц.
Этот инструмент позволяет вам выбрать политику обхода по умолчанию, добавить явные разрешенные и запрещенные пути, установить необязательную задержку обхода и добавить директивы карты сайта или хоста без необходимости вручную писать файл.
Robots.txt является директивой обхода, а не системой контроля доступа, поэтому чувствительное содержимое все равно должно быть защищено аутентификацией или другими серверными ограничениями.
Разные краулеры поддерживают разные директивы. Например, директива хоста не является универсальной, и некоторые боты могут игнорировать задержку обхода, поэтому всегда проверяйте свои окончательные правила на краулерах, которые вам важны.

У нас есть больше утилит для вас...
Выберите несколько утилит и добавьте их на панель управления.