Главная → Все проверки → Доступность robots.txt
Доступность robots.txt: что проверяется
Открывается ли robots.txt (файл с инструкциями для поисковых роботов). Если сервер отвечает на него ошибкой 5xx (сбой на стороне сайта), Google может приостановить обход всего сайта. Проверка смотрит только код ответа.
Почему это важно
Robots.txt первый файл, который робот запрашивает перед обходом сайта, и от его ответа зависит судьба всего визита, а не только этой одной страницы. Google прямо документирует: если сервер отвечает на запрос robots.txt ошибкой 5xx, поисковик расценивает это как сигнал технических проблем и может приостановить сканирование всего сайта, пока не убедится, что доступ восстановлен. Опаснее всего короткие сбои: сайт работает нормально, но хостинг падает ровно в момент обхода робота. Владелец об этом обычно даже не узнаёт, а краулинг тем временем откладывается. Файл маленький и запрашивается часто, поэтому нестабильность именно на нём заметна ботам раньше, чем на любой другой странице сайта.
Откуда взялись требования
Проверяется факт доступности файла. Google документирует, что при ответе 5xx на robots.txt обход сайта может быть приостановлен. Первоисточник ↗
Категория проверки: Доступность для роботов. Вес в оценке: 6/10.
Какие результаты возможны
Сервер не ответил на запрос robots.txt
Запрос оборвался, кода ответа нет: сервер молчит, отказывает в соединении или не успевает ответить. Поисковый робот в такой ситуации осторожничает со всем сайтом. Проверьте, открывается ли адрес вида вашсайт.ru/robots.txt в браузере. Открывается у вас, но не у нас: причина в блокировке по стране или в защите от ботов. Не открывается нигде: вопрос к хостингу.
robots.txt доступен
Доступ к файлу не закрыт: ни запрета 403, ни лимита запросов 429.
robots.txt недоступен
Поисковик не может прочитать директивы обхода и ссылку на карту сайта. Есть файл или нет — снаружи не определить.
Кто исправляет
Правку по этой проверке обычно поручают разработчику или хостингу.
Другие проверки категории «Доступность для роботов»
Частые вопросы: доступность robots.txt
Что делать, если robots.txt отдаёт ошибку 500?
Ошибка 500 на robots.txt почти всегда означает проблему на сервере, а не в самом файле: сломался скрипт, который его генерирует, или хостинг временно недоступен. Проверьте файл напрямую в браузере и сообщите о проблеме хостингу или разработчику: до её устранения Google может придержать обход остального сайта.
Обязательно ли иметь файл robots.txt на сайте?
Формально нет: без файла роботы обходят сайт по общим правилам, ничего не запрещая. Но отсутствие файла и ошибка при его запросе разные вещи для поисковика. Пустой ответ 404 на robots.txt Google воспринимает спокойно, а вот ошибку сервера 5xx считает признаком, что с сайтом сейчас что-то не так.
Как долго Google не обходит сайт после ошибки в robots.txt?
Точных сроков Google не публикует: длительность паузы зависит от того, как долго держится ошибка, и от истории сканирования конкретного сайта. Практический вывод один: чем быстрее устранена ошибка 5xx, тем быстрее возобновляется обычный обход остальных страниц. Мониторить доступность файла стоит регулярно, а не только после жалоб на пропавший трафик.
Что ещё сервис найдёт на этой странице
Кроме этой проверки — ещё 51: индексация, скорость, разметка, заголовки, ссылки. Каждая с указанием источника требования.