Проверка ответа сервера онлайн

Сервер отдал содержимое, и робот прочитал страницу. Дальше проверяются её тексты, разметка и скорость.

Откройте настройки защиты от ботов (Cloudflare, фильтр запросов WAF на хостинге, модуль антибота в панели) и внесите Googlebot и YandexBot в белый список или в исключения по частоте запросов. Потом проверьте адрес в Яндекс.Вебмастере (раздел «Инструменты», «Проверка ответа сервера») и в Google Search Console (отчёт «Проверка URL»). Если оба видят страницу, для поиска проблемы нет.

Откройте лог ошибок сервера за время проверки: в панели хостинга он обычно называется error_log. Найдите в нём строку с адресом этой страницы. Чаще всего причина в упавшем PHP-процессе, нехватке памяти на тарифе или недоступной базе данных. Почините и запустите проверку заново.

Страница не отдалась за отведённое время. Попросите хостинг посмотреть, что тормозит ответ: тяжёлый запрос к базе, нехватка памяти на тарифе, сосед по общему серверу. Ускорьте ответ и проверьте адрес заново. Пока сервер молчит, робот впустую тратит бюджет обхода (число страниц, которые он успевает скачать за один визит).

Проверьте адрес по буквам. Если страница переехала, поставьте со старого адреса постоянный редирект 301 (автоматическую переадресацию). Если удалили насовсем, уберите ссылки на неё из меню и из карты сайта sitemap.xml.

Сервер отдал по этому адресу не веб-страницу, а файл другого типа: так бывает с PDF, картинками и архивами. Сайт исправен, чинить нечего. Чтобы получить разбор, укажите адрес обычной страницы и запустите проверку заново.

Сервер не отдал страницу. Проверьте, открывается ли адрес в браузере с телефона по мобильному интернету, без вашего Wi-Fi. Открывается у вас, но не у нас: причина в блокировке по стране или в настройках DNS, это вопрос к хостингу и регистратору домена. Не открывается нигде: сервер не отвечает или отдаёт ошибку, пишите в поддержку хостинга.

200 значит, что сервер отдал страницу. 301 это постоянная переадресация: адрес сменился навсегда, и поисковик переносит на новый адрес накопленный вес. 302 временная, вес по ней не переносится. 404 сообщает, что страницы нет, а 410 что она удалена насовсем. 503 говорит о временном сбое, и Google документирует: при устойчивых ошибках 5xx страница со временем выпадает из индекса.

Каждый переход это отдельный запрос к серверу, и посетитель ждёт их все до первого пикселя. Цепочка из трёх звеньев на медленном мобильном соединении добавляет около секунды. Длинные цепочки обычно оказываются следом старых переездов: сайт перешёл на https, позже сменил структуру адресов, и два редиректа остались висеть друг за другом вместо одного прямого.

Нет, проверяется один адрес за раз. Массовый прогон по списку означает десятки запросов к чужому серверу за секунды, и мы сознательно так не делаем: проверка не должна превращаться в нагрузку на проверяемый сайт. Если нужно обойти много адресов, берите инструмент с настраиваемой паузой между запросами и запускайте его на своём сайте, где за нагрузку отвечаете вы.

Обычно это значит, что сервер стал отвечать ошибкой или новая правка в robots.txt закрыла страницу от робота уже после индексации. Google явно документирует: при устойчивых ошибках ответа страница со временем выпадает из индекса. Проверьте код ответа для этого конкретного адреса и содержимое robots.txt, правки туда часто вносят случайно при редизайне.

Зависит от кода. Если дело в правиле robots.txt, редиректе или логике приложения, чинит разработчик. Если сервер не отвечает вовремя или падает под нагрузкой, это к хостингу. Быстрее всего смотреть на код: 4xx указывают на разработчика, 5xx и таймауты на хостинг.