neuropushМожно выстроить идеальный контент и всё равно не попасть в ответ нейросети, если её робот просто не смог открыть страницу. Мы вместе с веб-студией oWeb Solutions проверили, как с этим обстоят дела у тех, кто уже занимает места в топ-10 Яндекса: взяли 719 сайтов из шести ниш и посмотрели, что видит ИИ-краулер на их главной странице. Ниже — цифры, что они означают и что проверить у себя.
Главный результат в двух строках
40% сайтов из топ-10 отказывают хотя бы одному ИИ-боту: сервер отдаёт ошибку, обрывает соединение или подсовывает страницу проверки браузера. При этом в robots.txt ИИ-ботов закрыли сознательно только 4%. Разрыв в десять раз говорит о том, что чаще всего сайт закрывается не по решению владельца, а по умолчанию: правилами файрвола, защиты от парсинга или CDN. Это наше предположение — владельцев мы не опрашивали.
Как мы собирали выборку
- Взяли 108 коммерческих запросов в шести нишах (по 18 на нишу): строительство и ремонт, медицина, недвижимость, логистика, интернет-магазины, B2B-производство.
- По каждому запросу забрали топ-10 Яндекса для Москвы. Каталоги, агрегаторы, соцсети и маркетплейсы убрали: нас интересовали именно сайты компаний.
- Просканировали 766 доменов. У 47 главная не открылась, в расчёт вошли 719.
- Для каждого проверили главную страницу,
robots.txtиllms.txt. Доступ ботов проверяли запросом главной с User-Agent GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, YandexAdditional и Googlebot. - Блокировкой считали коды 401, 403, 406, 429, 451, 503, обрыв соединения и страницу с капчей вместо контента.
Что получилось по всей выборке
- Не пускают хотя бы одного ИИ-бота — 40%. Чаще всего закрыты ClaudeBot (219 сайтов) и GPTBot (189).
- Закрывают ИИ-ботов в
robots.txt— 4%. - Публикуют
llms.txt— 15%. - Есть разметка JSON-LD — 50%; описана организация (Organization или LocalBusiness) — 41%.
- Организация связана с профилями через
sameAs— 19%. - Размечены вопросы и ответы (FAQPage) — 4%.
- Главная содержит меньше 150 слов текста без JavaScript — 11%. Медианный объём текста на главной — 1183 слова.
признак готовности проблема
Шкала от 0 до 100%. Главная страница каждого сайта из выборки.
Шкала до 35%. Проверка по User-Agent, реальные боты приходят с IP своих владельцев.
Разница между нишами
Картина по нишам неодинаковая:
- Строительство и ремонт — самая закрытая ниша: боты не проходят на 52% сайтов. В недвижимости таких 28%.
- Медицина лидирует по разметке: JSON-LD есть у 61% сайтов, а с профилями через
sameAsсвязаны 35% — почти вдвое выше среднего. - Интернет-магазины отстают по структуре: JSON-LD только у 38%, у 23% главная почти пуста без JavaScript, а у 43% на ней не один заголовок H1.
- Недвижимость реже всех связывает организацию с профилями через
sameAs— всего 12%.
Здесь важно не читать таблицу как рейтинг «лучших» ниш. Мы измеряем техническую готовность главной страницы, а не то, цитируют ли эти сайты нейросети. Связь между первым и вторым мы не проверяли.
Какой AI Mention Rate у вашего бренда сейчас?
Бесплатный демо-скан по вашей нише — 3-5 промптов, реальные ответы моделей.
Попробовать демо-сканТаблица по нишам
| Доля сайтов | Все | Строит. | Медицина | Недвиж. | Логистика | Интернет-магазины | B2B-произв. |
|---|---|---|---|---|---|---|---|
| Не пускают ИИ-бота | 40% | 52% | 38% | 28% | 43% | 35% | 40% |
| Закрыто в robots.txt | 4% | 1% | 3% | 9% | 1% | 8% | 4% |
| Есть llms.txt | 15% | 16% | 16% | 22% | 12% | 11% | 15% |
| Есть JSON-LD | 50% | 56% | 61% | 48% | 50% | 38% | 50% |
| Описана организация | 41% | 39% | 56% | 35% | 41% | 32% | 44% |
| Есть sameAs | 19% | 19% | 35% | 12% | 16% | 18% | 13% |
| Есть FAQPage | 4% | 10% | 3% | 0% | 5% | 1% | 4% |
| Есть BreadcrumbList | 14% | 21% | 18% | 7% | 17% | 3% | 15% |
| Пустая главная без JS | 11% | 10% | 12% | 7% | 6% | 23% | 5% |
| H1 не ровно один | 24% | 16% | 25% | 20% | 20% | 43% | 20% |
| Сайтов в расчёте | 719 | 135 | 113 | 81 | 115 | 131 | 149 |
Строки про блокировку, пустую главную и H1 описывают проблемы (чем меньше, тем лучше), остальные — признаки готовности (чем больше, тем лучше).
Размер ниши — от 81 до 149 сайтов, поэтому различия в несколько пунктов не стоит считать значимыми.
Почему блокировка — это обычно не выбор владельца
Файрволы и антибот-сервисы часто по умолчанию режут запросы с незнакомыми User-Agent, если те похожи на массовый парсинг. ИИ-краулеры выглядят именно так. Владелец сайта может годами не знать, что его страницы отдают ClaudeBot ошибку 403: в браузере всё открывается, в Метрике всё в порядке, а в robots.txt ничего запрещено не было. Проверить это можно только запросом под нужным User-Agent — то, что мы и делали.
Отдельно про пустую главную. ИИ-краулеры, как правило, не исполняют JavaScript. Если весь текст подгружается скриптами, бот получает каркас без содержимого. У 11% сайтов выборки на главной меньше 150 слов текста в исходном HTML.
Ограничения, которые важно помнить
- Проверка идёт по User-Agent, а не по IP. Настоящие боты приходят со своих адресов. Сайт, который фильтрует по IP, может пускать реального бота и блокировать наш запрос — и наоборот.
- Перепроверка. Мы повторили 70 блокировок GPTBot и ClaudeBot через паузу: отказ воспроизвёлся в 63 случаях (90%). Часть оставшихся — ограничения по частоте запросов (код 429), поэтому реальная доля закрытых сайтов может быть чуть ниже.
- Выборка не отражает весь рунет. Это сайты из топ-10 по нашим запросам, то есть те, что и так хорошо ранжируются.
- Данные по конкретным сайтам мы не публикуем — только проценты по нишам.
Что проверить у себя за десять минут
- Отвечает ли сайт ИИ-ботам. Запросите главную с User-Agent GPTBot и ClaudeBot и сравните ответ с обычным браузером. Код 403, 429 или страница с капчей — сигнал разбираться с правилами файрвола. Отдельно разберитесь с
robots.txt: проверка robots.txt для ИИ и разбор всех ботов и сценариев. - Виден ли текст без JavaScript. Откройте исходный HTML главной страницы: если там нет основного текста, ИИ его не прочитает. Помогает проверка контента без JS.
- Описана ли компания машиночитаемо. Organization в JSON-LD, ссылки
sameAsна профили и, если есть, Wikidata. Подробнее: JSON-LD и Schema.org для цитирования. - Есть ли
llms.txt. Файл не гарантирует цитирование, но показывает модели, какие страницы важны: руководство по llms.txt.
Все эти проверки собраны в полном отчёте. Результат по своему сайту лучше зафиксировать сейчас: через квартал сравнивать будет с чем.
Что дальше
Мы повторим замер через квартал на такой же схеме и покажем, что изменилось. Полная версия исследования с таблицей по всем нишам и методикой — на сайте oWeb Solutions.
Частые вопросы
Значит, 40% сайтов сознательно закрылись от ИИ?
Нет. В robots.txt ИИ-ботов закрыли только 4%. Остальные блокировки, по нашему предположению, — побочный эффект правил файрвола или защиты от парсинга. Владельцев мы не опрашивали, поэтому это гипотеза, а не факт.
Можно ли по этим данным сказать, что открытые сайты чаще попадают в ответы ИИ?
Нет, такой связи мы не проверяли. Исследование измеряет техническую доступность главной страницы, а не цитируемость.
Почему проверяли только главную страницу?
Это самая стабильная точка для массового замера: она есть у каждого сайта и хорошо показывает общие правила доступа. Внутренние страницы могут вести себя иначе, и это ограничение исследования.
Хотите полный отчёт по своему бренду?
Аудит даёт оценку по 6+ моделям и 6 измерениям видимости с приоритизацией действий.
Заказать аудит