Проверка Content-Signal

// ЗАЧЕМ ЭТО НУЖНО

Зачем явно указывать политику использования контента

Что такое Content-Signal и откуда он взялся

Content-Signal — предлагаемое расширение robots.txt: в отличие от Allow/Disallow, которые решают только «пускать краулера или нет», эта директива описывает, что разрешено делать с уже полученным контентом — использовать в поиске, в живых ответах ИИ или для обучения моделей.

Три параметра директивы

Формат: Content-Signal: search=yes, ai-input=yes, ai-train=no. search — разрешение на индексацию для обычного поиска. ai-input — разрешение использовать контент как контекст для ответов ИИ-систем (RAG, суммаризация). ai-train — разрешение включать контент в обучающие датасеты моделей. Каждый параметр — независимое yes/no.

Где и как размещать

Директива пишется внутри блока User-agent, рядом с Allow/Disallow, и может отличаться для разных ботов — например GPTBot можно ограничить по обучению, а PerplexityBot оставить с полным доступом к ai-input. Частая причина, по которой директива не срабатывает, — опечатка в названии: Content-Signals (с лишней S), content-signal без заглавных или слитное ContentSignal парсеры не распознают.

Насколько это обязательно к исполнению

Content-Signal — развивающаяся конвенция, а не юридически обязывающий стандарт: крупные провайдеры моделей заявляют о намерении её поддерживать, но не все краулеры сегодня действительно её читают. Тем не менее раннее внедрение — явный, проверяемый сигнал вашей политики в отношении контента, который может иметь значение уже сейчас и точно не станет проблемой в будущем.

// КОГДА ЭТО КРИТИЧНО

Хотите разрешить цитирование в ответах ИИ, но запретить обучение на своём контенте

Уже настраивали блокировку ботов и не уверены, что это не задело живой AI-поиск

Работаете с контентом, где важен явный контроль над использованием (медиа, платный контент)

// КОМУ ЭТО НУЖНО

Пригодится в разных ролях

// ИЗДАТЕЛИ И МЕДИА

Особенно значимо для сайтов с уникальным авторским контентом, который не хочется бесплатно отдавать в обучение.

// SEO-СПЕЦИАЛИСТЫ

Дополняет классический robots.txt более тонким инструментом управления доступом.

// КОМПЛАЕНС-КОМАНДЫ

Способ формально задекларировать политику использования контента ещё до появления обязательных стандартов.

// РАЗРАБОТЧИКИ

Директива добавляется одной строкой — не требует изменений в инфраструктуре.

// ЛУЧШИЕ ПРАКТИКИ

Что стоит делать по умолчанию

Указывайте все три параметра явно (search, ai-input, ai-train), даже если значение везде «yes» — это снимает двусмысленность.

Проверяйте точное написание — Content-Signal, а не Content-Signals или ContentSignal.

Настраивайте политику по конкретным ботам, если она различается — общее правило User-agent: * не всегда достаточно гибко.

Не считайте директиву юридической гарантией — сегодня это декларация намерений, а не принудительно соблюдаемый стандарт.

// FAQ

Часто задаваемые вопросы

Чем Content-Signal отличается от Disallow?

Disallow решает, может ли бот вообще зайти на страницу. Content-Signal — декларация того, что можно делать с контентом уже после того, как доступ разрешён: индексировать, использовать в ответах или обучать модель.

Обязаны ли AI-компании соблюдать эту директиву?

Формально нет — это развивающаяся, не до конца стандартизированная конвенция. Крупные провайдеры сигнализируют о готовности её поддерживать, но соблюдение сейчас не гарантировано техническими средствами.

Можно ли разрешить обучение, но запретить использование в живых ответах?

Да, все три параметра независимы: например search=yes, ai-input=no, ai-train=yes разрешит индексацию и обучение, но запретит использование в качестве контекста для прямых ответов пользователю.

Как понять, что директива прописана без ошибок?

Проверьте написание строго как Content-Signal: (с заглавными C и S, без лишней буквы S в конце) и что значения — ровно yes или no, без кавычек и лишних пробелов.