Перейти к содержимому
Brusnica Development

Генератор robots.txt для AI-ботов

Готовый robots.txt с отдельными правилами для ботов обучения, AI-поиска и запросов пользователей.

К результату ↓
Сценарий

Обучение моделей

Собирают тексты для новых версий нейросетей

  • GPTBotOpenAI
  • ClaudeBotAnthropic
  • Google-ExtendedGoogle
  • Applebot-ExtendedApple
  • Meta-ExternalAgentMeta
  • CCBotCommon Crawl
  • BytespiderByteDance

Цитируют страницы в ответах со ссылкой

  • OAI-SearchBotOpenAI
  • Claude-SearchBotAnthropic
  • PerplexityBotPerplexity
  • DuckAssistBotDuckDuckGo

Запросы пользователей

Открывают страницу по просьбе человека

  • ChatGPT-UserOpenAI
  • Claude-UserAnthropic
  • Perplexity-UserPerplexity
  • MistralAI-UserMistral

По одному пути в строке. Применится и к разрешённым AI-ботам.

robots.txt
# robots.txt — собран на brusnica.dev/tools/robots-txt-ai-bots

# AI-боты: закрыто
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# AI-боты: открыто (общие запреты повторены, см. RFC 9309)
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
Allow: /

# Все остальные роботы
User-agent: *
Allow: /

Какие AI-боты ходят по сайтам

У AI-компаний три вида роботов. Одни собирают тексты для обучения: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl). Другие индексируют страницы для AI-поиска: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Третьи открывают страницу по просьбе пользователя: ChatGPT-User, Claude-User, Perplexity-User.

Как закрыть сайт от обучения, но остаться в AI-поиске

Закройте ботов обучения, а поисковых и пользовательских оставьте: с этого пресета генератор начинает. Google-Extended и Applebot-Extended — служебные токены: они запрещают обучать на сайте модели Google и Apple, а из обычного поиска сайт не убирают. На AI Overviews Google-Extended не влияет, они строятся на обычном индексе.

Почему разрешённых ботов приходится перечислять отдельно

По RFC 9309 робот выполняет только самую конкретную группу со своим user-agent, а группу User-agent: * игнорирует. Если закрыть /admin/ для всех и добавить группу «разрешить OAI-SearchBot», /admin/ для него откроется. Генератор повторяет общие Disallow в группе разрешённых ботов.

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/

User-agent: *
Allow: /
Disallow: /admin/

Чего robots.txt не умеет

robots.txt соблюдают только добросовестные роботы, а запросы по просьбе пользователя иногда его обходят. Для жёсткой защиты нужны правила на сервере или CDN. Google кеширует файл до суток, а при ответе 5xx многие роботы на время перестают обходить сайт.

Частые вопросы

Нет. GPTBot собирает данные для обучения, а поиск и открытие страниц в ChatGPT делают OAI-SearchBot и ChatGPT-User.

Нет. Это служебный токен: он управляет только обучением моделей Google и на поиск не влияет.

Собранное из датасетов не исчезнет, но новые тексты в будущие выборки не попадут.

Откройте ваш-домен/robots.txt и сверьте с файлом, ошибки разбора покажет отчёт в Google Search Console. Какие боты приходят на самом деле, видно в логах сервера.

Никуда — файл собирается в браузере, на сервер ничего не отправляется.

robots.txt для AI-ботов — генератор онлайн | Brusnica Dev