Главная → Все проверки → Готовность к ИИ-поиску
Готовность к ИИ-поиску: что проверяется
Проверяет две вещи: пускает ли сайт роботов пяти ИИ-ассистентов (ChatGPT Search, Perplexity, Claude, Copilot, Gemini) и не запретил ли он сам показ описания страницы в выдаче.
Почему это важно
Поиск с ИИ берёт ответы с обычных страниц: Google прямо пишет, что для генеративного поиска не нужна ни специальная разметка, ни отдельная подготовка, а страница должна быть просто проиндексирована и доступна к показу со сниппетом. Управляемых рычагов здесь три, и все документированы. Доступ роботов: проверяются пять ассистентов, у которых вендор сам написал следствие запрета. OpenAI заявляет, что сайты, закрывшие OAI-SearchBot, не показываются в ответах поиска ChatGPT. Так же у Perplexity и у Claude. Copilot отвечает по индексу Bing, поэтому смотрим bingbot и директиву noarchive. Gemini считается отдельно: Google-Extended закрывает подстановку фактов в ответ, но на Поиск Google и обзоры от ИИ не влияет. Директивы сниппета: nosnippet и max-snippet:0 убирают страницу из сниппетов, а с ними и из генеративных ответов. Соответствие разметки тексту: политики Google запрещают размечать то, чего читатель не видит. Проверка показывает все три, ничего не обещая сверх документированного: попадание в ответы не гарантирует никто.
Откуда взялись требования
Каждый вендор сам описал следствие запрета своего робота. OpenAI: сайты, отказавшиеся от OAI-SearchBot, не показываются в ответах поиска ChatGPT. Anthropic: запрет Claude-SearchBot и Claude-User снижает видимость сайта в результатах. Perplexity: PerplexityBot нужен, чтобы сайт попадал в результаты. Microsoft: контент с директивой noarchive в ответы не попадает. Google отдельно оговаривает, что Google-Extended управляет обучением и подстановкой фактов, а на Поиск и обзоры от ИИ не влияет. Проверка информационная: закрыть ИИ-краулера это выбор владельца, а не дефект. Первоисточник ↗
Категория проверки: Техническая база. Вес в оценке: 3/10.
Какие результаты возможны
Страница запрещает показ описания в выдаче
Google из-за этого не показывает сниппет (короткое описание под ссылкой в выдаче), а без права на сниппет страница не попадает и в ответы ИИ. Проверьте два места: мета-тег robots или googlebot в блоке <head> и заголовок ответа сервера X-Robots-Tag. Если запрет поставлен не намеренно, уберите его.
Доступ роботам ИИ-поиска закрыт
Следствие каждый вендор описал сам. OpenAI: сайты, отказавшиеся от OAI-SearchBot, не показываются в ответах поиска ChatGPT. Anthropic: запрет Claude-SearchBot и Claude-User снижает видимость сайта в ответах Claude. Perplexity: без её робота сайт в результаты не попадает. Copilot отвечает по индексу Bing, поэтому закрытый bingbot закрывает и его. Это законный выбор владельца, на балл проверка не влияет. Решайте сами, нужен ли вам показ там без перехода на сайт.
Директива noarchive закрывает страницу от ответов Copilot
В настройках страницы стоит noarchive. Microsoft пишет дословно: контент с этой пометкой в ответы не попадает и ссылкой в них не подписывается, а Copilot отвечает по индексу Bing. У Google та же директива означает лишь отказ от сохранённой копии и на показ в выдаче не влияет. Проверьте два места: мета-тег robots в блоке <head> и заголовок ответа сервера X-Robots-Tag. Если запрет достался от чужого шаблона, уберите его.
Google-Extended запрещён: Gemini не подставит ваши факты в ответ
В robots.txt закрыт Google-Extended. Он управляет двумя вещами: обучением моделей Gemini и подстановкой фактов из индекса в ответ. На попадание в Поиск Google и в обзоры от ИИ он не влияет, Google пишет это дословно и сигналом ранжирования его не считает. Остальные четыре ассистента к странице допущены. Это законный выбор владельца, на балл проверка не влияет.
Файла robots.txt нет
Роботы всех пяти ассистентов обходят страницу свободно: robots.txt со списком правил обхода на сайте не найден, запрещать им нечем. Это не ошибка. Файл понадобится, если вы решите закрыть от роботов часть разделов или указать в нём адрес карты сайта.
Роботы пяти ИИ-ассистентов к странице допущены
Проверено шесть роботов: OAI-SearchBot (ChatGPT Search), PerplexityBot, Claude-SearchBot и Claude-User, bingbot (по его индексу отвечает Copilot) и Google-Extended (подстановка фактов в Gemini). Все к странице допущены. Запрета на сниппет и на ответы Bing тоже нет. Делать ничего не нужно. Попадание в ответы ИИ это не гарантирует: Google пишет, что отдельных технических требований и специальной разметки для генеративных ответов нет.
Кто исправляет
Правку по этой проверке обычно поручают разработчику.
Другие проверки категории «Техническая база»
Частые вопросы: готовность к ИИ-поиску
Нужна ли специальная разметка, чтобы попасть в ответы нейросетей?
Нет. Google отвечает на это прямо: для генеративного поиска структурированные данные не требуются, и специальной schema.org-разметки под него не существует. Более того, единственный контролируемый замер связи разметки с цитированием (Ahrefs, 1885 страниц против 4000 контрольных) дал по AI Overviews минус 4,6 процента, а по ChatGPT результат неотличим от нуля. Разметка полезна для расширенных сниппетов, но продавать её как билет в ИИ-ответы нечестно.
Что такое llms.txt и нужен ли он сайту?
Файл, который предлагали класть в корень сайта как инструкцию для нейросетей. Google держит его в списке того, что делать не нужно, с формулировкой: создание llms.txt не вредит и не помогает видимости сайта. Ни один крупный поисковик с ИИ его не читает. Время лучше потратить на то, что документировано: доступ краулеров и право на сниппет.
Надо ли дробить текст на короткие самодостаточные блоки под ИИ?
Google называет это ненужным дословно: нет требования разбивать контент на маленькие кусочки, чтобы ИИ его лучше понял. Страницу на пассажи поисковик режет сам, это документированная система passage ranking (система Google, оценивающая отдельные куски страницы). Наш замер самостоятельности абзацев справочный и на балл не влияет: порога, отделяющего связную прозу от плохой, не существует.
Каких роботов проверяет сервис и почему не всех подряд?
Проверяются пять ассистентов: ChatGPT Search (OAI-SearchBot), Perplexity (PerplexityBot), Claude (Claude-SearchBot и Claude-User), Copilot (через bingbot, потому что отвечает он по индексу Bing) и Gemini (Google-Extended). Порог для попадания в список один: вендор сам написал, что даёт запрет его робота. Роботы обучения сюда не входят, хотя их запрещают чаще всего: GPTBot, ClaudeBot и Applebot-Extended собирают данные для тренировки моделей, а на показ в ответах не влияют. Apple пишет это дословно. Не входят и ChatGPT-User с Perplexity-User: оба вендора предупреждают, что при действии по запросу человека robots.txt может не примениться, поэтому запись в файле там ничего не доказывает.
Запрет Google-Extended выкинет сайт из Google?
Нет. Google-Extended управляет двумя вещами: обучением моделей Gemini и подстановкой фактов из индекса в ответ. На попадание в Поиск Google он не влияет и сигналом ранжирования не считается, Google пишет это дословно. Обзоры от ИИ в выдаче Google им тоже не отключаются: за них отвечают обычные права на сниппет, то есть nosnippet и max-snippet. Поэтому в отчёте Gemini стоит отдельной строкой, а не в общем списке закрытых ассистентов.
Стоит ли закрывать роботов ИИ-ассистентов?
Это выбор владельца, а не ошибка, поэтому проверка на балл не влияет. Следствие документировано: OpenAI пишет, что сайты, закрывшие OAI-SearchBot, не показываются в ответах поиска ChatGPT. Кто-то сознательно не хочет, чтобы его тексты пересказывали без перехода на сайт, кто-то наоборот ценит упоминание. Сервис показывает факт, решение за вами.
Почему разметка не должна расходиться с видимым текстом?
Политики структурированных данных Google запрещают размечать содержимое, которого читатель не видит. Последствие документировано: ручное действие, после которого страница теряет право на расширенный сниппет. На позиции в обычной выдаче это не влияет. Если значение подставляется скриптом, сервис это распознаёт и нарушением не считает.
Проверить страницу целиком
Эта проверка — одна из 52. Полный анализ показывает оценку от 0 до 100, разбор по категориям и список того, что чинить первым.