Откуда выборка
В основе — тот же массив, что в исследовании кого цитируют ответы нейросетей: 853 ответа Яндекс Нейро на маркетинговые запросы с перечнем источников. Из источников мы взяли все домены — их 847 — и для каждого сделали по одному запросу к трём адресам: robots.txt, llms.txt и главной странице. Обход шёл с 7 по 19 октября 2026 года.
Домены разделили по тому, сколько раз их процитировали:
Важное ограничение: это сайты, которые уже попали в ответы. Мы видим, как устроены цитируемые сайты, но не видим тех, кого Нейро не процитировал. Поэтому ниже — описание, а не рецепт.
Почти никто не закрывается от ИИ
robots.txt нашёлся у 718 доменов из 847 (84,8 %). Правила мы разбирали стандартным парсером Python — тем же способом, каким их читают роботы: своя группа бота важнее общей, побеждает подходящее правило для главной страницы.
Закрывают в первую очередь роботов, которые собирают данные для обучения: Bytespider, CCBot, GPTBot. Роботов, которые приносят цитаты, — OAI-SearchBot, Claude-SearchBot, PerplexityBot — закрывает меньше одного сайта из ста. Весь сайт для всех роботов закрыт у 0,3 % файлов.
Это совпадает с тем, как роли ботов описывают их владельцы. OpenAI пишет, что сайты, закрытые для OAI-SearchBot, не показываются в ответах поиска ChatGPT, а запрет GPTBot на это не влияет. Google — что Google-Extended не влияет на поиск. Сайты, которые попадают в ответы, ведут себя последовательно: если что-то закрывают, то обучение, а не поиск. Собрать такой файл можно в генераторе robots.txt для ИИ-ботов.
Упоминают чаще, чем запрещают
Отдельно мы посчитали, у скольких файлов есть группа с именем бота, — неважно, разрешающая или запрещающая.
GPTBot назван в 9,2 % файлов, а закрыт в 2,5 %. Значит, большинство строк про ИИ-ботов — явные разрешения. У этого есть ловушка: бот со своей группой читает только её и игнорирует общие правила User-agent: *. Сайт, который закрыл служебные разделы для всех, а потом добавил «GPTBot — Allow: /», открыл GPTBot и эти разделы тоже.
llms.txt: есть у каждого восьмого
Файл мы засчитывали, только если он отдаётся с кодом 200, не является HTML-страницей и начинается с заголовка Markdown. Такой нашёлся у 109 доменов — 12,9 % выборки.
Данные графика таблицей
| Показатель | Значение, % |
|---|---|
| Один раз | 11,8 |
| 2–4 раза | 13,0 |
| 5 раз и больше | 14,5 |
У часто цитируемых сайтов llms.txt встречается чуть чаще, но разница — меньше трёх процентных пунктов, и 85 % сайтов из самой цитируемой группы обходятся без него. Это согласуется с тем, что мы писали в разборе llms.txt: файл дешёвая гигиена, а не механизм попадания в ответы.
Микроразметка на главной
Главная страница загрузилась у 736 доменов. JSON-LD на ней есть у половины, микроразметка в атрибутах HTML — у 23,2 %.
Набор ожидаемый: Organization и WebSite описывают сайт и компанию, SearchAction часто ставят вместе с WebSite по старым шаблонам — хотя блок поиска по сайту Google из выдачи уже убрал. Какую роль разметка играет в отборе для ответов, мы разбирали в опорной статье о GEO и видимости в нейросетях.
Счётчики и движки
Яндекс Метрика стоит на 59 % главных — в четыре с лишним раза чаще, чем Google Analytics 4. Сравнение двух систем — в разборе Метрика или GA4.
Движок определялся по характерным путям в коде страницы, поэтому у 45 % сайтов он не распознан — это самописные сайты, крупные платформы и движки без явных следов.
Вес страниц и базовые метатеги
Медианный HTML главной весит 190 КБ, у десятой части сайтов — больше 595 КБ. Внешних скриптов на главной в медиане восемь. Описание (meta description) отсутствует у 15,1 % главных; медианная длина title — 57 знаков, description — 148 знаков. Разрешение на крупные превью max-image-preview:large, без которого недоступна большая карточка в Discover, стоит у 21,7 % сайтов.
| Признак | Доля сайтов |
|---|---|
| Есть robots.txt | 84,8 % |
| Карта сайта указана в robots.txt | 85,8 % из файлов |
| JSON-LD на главной | 50 % |
| og:image на главной | 64,4 % |
| Нет meta description | 15,1 % |
| max-image-preview:large | 21,7 % |
| Атрибут lang начинается с ru | 72,4 % |
Что из этого следует
Первое. Цитируемые сайты почти не мешают ИИ-роботам. Если ваш robots.txt закрывает OAI-SearchBot, Claude-SearchBot или PerplexityBot, вы в редком меньшинстве — и, по документации самих компаний, теряете цитаты.
Второе. Технические признаки не отличают часто цитируемые сайты от редко цитируемых. Разница в долях — 1–3 процентных пункта. В ответ попадают по содержанию: позиции в выдаче под подзапрос и наличию готового ответа на странице.
Третье. Базовая гигиена — это порог, а не рычаг. Описание, разметка и карта сайта есть у большинства, и их отсутствие скорее выбивает из выборки, чем их наличие в неё вводит.
Спорное место
Выборка смещена: это сайты, уже попавшие в ответы, и мы не сравнивали их с теми, кто не попал. Ответы Нейро сняты в августе, обход сделан в октябре — за два месяца часть сайтов могла поменять robots.txt. Robots.txt и главная проверены одним запросом без выполнения JavaScript, поэтому разметку, которую сайт добавляет скриптом, мы не видим. Наконец, частота цитирования здесь — число ответов в одной выборке, а не постоянное свойство сайта.
Частые вопросы
Закрывают ли сайты robots.txt от нейросетей?
Нужен ли llms.txt, чтобы попадать в ответы нейросетей?
Какая микроразметка чаще всего стоит у цитируемых сайтов?
Влияет ли техническая настройка на то, как часто сайт цитируют?
Можно ли посмотреть данные по конкретным сайтам?
Источники
- Overview of OpenAI Crawlers — OpenAI
- Google common crawlers — Google Search Central
- urllib.robotparser — Parser for robots.txt — Python documentation