Медиана

Генератор robots.txt для ИИ-ботов и поисковых роботов

Генератор robots.txt для ИИ-ботов: кого пустить ради цитат в ChatGPT и Perplexity, кого закрыть от обучения и как не задеть поисковики.

Поиск и цитирование в ответах

Эти роботы собирают страницы для ответов с источниками. Закрыть их — значит пропасть из цитат.

Запросы по просьбе пользователя

Открывают страницу, когда человек сам просит ассистента её прочитать. Часть из них robots.txt не соблюдает.

Обучение моделей

Собирают тексты для обучения. Запрет не влияет на поиск Google и на цитаты в ответах — за них отвечают другие роботы.

Сервисы анализа ссылок и конкурентов

Краулеры SEO-сервисов. На поиск и ИИ-ответы не влияют; закрывают их, чтобы не раскрывать ссылки и не тратить ресурсы сервера.

Общие правила для всех роботов

Готовый файл



    Проверить готовый robots.txt
    Вставьте содержимое своего файла — покажем, кого из роботов он пускает на главную страницу. Правила разбираются так же, как это делают сами роботы: группа с именем бота важнее общей, побеждает самое длинное совпадение пути.
    

    Три роли ИИ-роботов
    Robots.txt появился, когда в интернете были в основном поисковые роботы. Сейчас у каждой компании, которая делает нейросети, их несколько, и у каждого своя задача. Закрывать их одним решением — значит смешивать разные вопросы: «можно ли учиться на моих текстах» и «можно ли цитировать мой сайт в ответах».
    РольРоботыЧто даёт запрет
    Поиск и цитированиеOAI-SearchBot, Claude-SearchBot, PerplexityBotСайт пропадает из источников в ответах ChatGPT, Claude и Perplexity
    Обучение моделейGPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBotТексты не идут в обучение будущих моделей; на цитаты и поиск Google не влияет
    Запрос пользователяChatGPT-User, Claude-User, Perplexity-UserАссистент не откроет страницу по прямой просьбе; Perplexity-User и, по оговорке OpenAI, ChatGPT-User запрет могут не соблюдать
    Отсюда главный практический вывод. Если сайт хочет попадать в ответы нейросетей, поисковые ИИ-роботы должны быть открыты при любом решении об обучении. Закрыть GPTBot и оставить OAI-SearchBot — нормальная и распространённая настройка.
    Чего robots.txt не умеет
    Файл — просьба, а не замок. Роботы крупных компаний его соблюдают, но ничто технически не мешает другим его игнорировать. Запрет не удаляет то, что уже собрано: он касается только будущих обходов. И он публичный — любой может открыть ваш robots.txt и увидеть, от кого вы закрываетесь.
    Для поисковиков действует то же, что и раньше: закрытый раздел не индексируется, но страница может попасть в выдачу по внешним ссылкам без описания. Подробно о правилах и типичных ошибках — в разборе robots.txt.
    Как проверить результат
    Вставьте готовый файл в проверку выше: она покажет, кого из роботов он пускает на главную. Затем загляните в журналы сервера через сутки–двое — там видно, какие роботы приходили на самом деле. Если вы ведёте и llms.txt, помните, что он не заменяет robots.txt: доступ определяется только правилами в robots.txt.
    Частые вопросы
    Как закрыть сайт от ChatGPT?
    У OpenAI три робота. GPTBot собирает данные для обучения, OAI-SearchBot — для поиска ChatGPT, ChatGPT-User открывает страницы по просьбе пользователя. Чтобы сайт не попадал в обучение, закройте GPTBot. Чтобы его не было в ответах поиска ChatGPT — OAI-SearchBot. Для ChatGPT-User OpenAI предупреждает, что правила robots.txt могут не применяться.
    Чем GPTBot отличается от OAI-SearchBot?
    GPTBot собирает тексты для обучения моделей, OAI-SearchBot — для показа сайтов в ответах поиска ChatGPT. По документации OpenAI сайт, закрытый для OAI-SearchBot, в ответах поиска не показывается, а запрет GPTBot на это не влияет. Это частая ошибка: закрывают «ChatGPT» целиком и теряют цитаты.
    Влияет ли запрет Google-Extended на позиции в Google?
    Нет. Google пишет, что Google-Extended не влияет на включение сайта в поиск и не используется как сигнал ранжирования. Он управляет только тем, можно ли использовать контент для обучения и работы моделей Gemini.
    Можно ли закрыть сайт от Яндекс Нейро?
    Отдельного робота для нейросетевых ответов Яндекс в справке по robots.txt не описывает: там перечислены основной индексирующий робот YandexBot и общая группа Yandex. Закрыв их, вы уберёте сайт и из обычного поиска Яндекса, поэтому такой запрет почти никогда не нужен.
    Почему разрешённым ботам не нужны отдельные группы?
    Робот выбирает самую подходящую ему группу. Если в файле есть «User-agent: GPTBot», он читает только её и игнорирует общие правила «User-agent: *». Группа «GPTBot — Allow: /» откроет ему и те разделы, которые вы закрыли для всех. Поэтому генератор пишет отдельные группы только для закрытых роботов.
    Сколько времени ИИ-роботы подхватывают новый robots.txt?
    OpenAI пишет, что после изменения файла системам нужно около 24 часов. Perplexity называет тот же срок. Уже собранные данные запрет не удаляет — он действует на будущие обходы.
    Источники
    1. Overview of OpenAI Crawlers — OpenAI
    2. Does Anthropic crawl data from the web, and how can site owners block the crawler? — Anthropic
    3. Google common crawlers — Google Search Central
    4. Perplexity Crawlers — Perplexity
    5. Директива User-agent — Яндекс Вебмастер
    6. Директива Clean-param — Яндекс Вебмастер