Проверить robots.txt онлайн

Файл открывается, обход этой страницы в нём не запрещён ни для Google, ни для Яндекса. По этой проверке менять нечего.

Создайте текстовый файл robots.txt в корне сайта, чтобы он открывался по адресу вида вашсайт.ru/robots.txt. Минимум внутри — строка «User-agent: *». Служебные разделы (корзина, личный кабинет, страницы поиска) закрывают строкой «Disallow: /путь». Строку «Sitemap:» с полным адресом карты добавляйте только если карта уже лежит по этому адресу и открывается: объявленный адрес, который отвечает не кодом 200, поисковик засчитает как ошибку загрузки. Без файла robots.txt обход не запрещён.

Спецификация Google требует ведущий слэш, а что робот сделает со строкой вроде «Disallow: *», она не говорит. Хотели закрыть весь сайт для этого робота, пишите «Disallow: /»; хотели закрыть раздел, укажите путь от корня. Строки перечислены ниже.

Строка не привязана к блоку User-agent, место в файле любое. Так робот получит список страниц сразу, не собирая его по ссылкам.

Дописать одну строку здесь нельзя. Объявленный адрес, который отвечает не кодом 200, поисковик засчитывает как ошибку загрузки карты, и в Яндекс Вебмастере это остаётся висеть проблемой: было чисто, стало с ошибкой. Порядок обратный: сгенерируйте карту движком сайта или плагином, положите по адресу, откройте его в браузере и убедитесь, что XML отдаётся, и только потом добавьте строку Sitemap. Google оговаривает: примерно до 500 страниц, на каждую из которых ведёт ссылка из меню или раздела, карта не обязательна.

Строки Sitemap в robots.txt нет. Есть ли у сайта сам файл карты, проверка в этот раз выяснить не смогла. Сначала откройте предполагаемый адрес карты в браузере. Если отдаётся XML, добавьте в robots.txt строку «Sitemap:» с этим адресом, место в файле любое. Если не отдаётся, порядок обратный: сначала карта, потом строка. Объявлять адрес, который отвечает не кодом 200, нельзя, поисковик засчитает это как ошибку загрузки.

Удалите из robots.txt строку, которая начинается со слова Host. Яндекс отменил её в 2018 году и не читает. Основной адрес сайта (с www или без) задают иначе: редирект 301 с лишнего адреса на основной плюс настройка в Яндекс Вебмастере.

Откройте robots.txt в корне сайта, найдите строку Disallow, под которую попадает этот адрес, и удалите её или сузьте путь до служебного раздела. Запрет мешает роботу прочитать страницу, но не убирает адрес из выдачи: он может показаться в результатах без описания. Чтобы страница исчезла из поиска, нужен тег noindex (запрет показывать страницу в поиске). Робот прочитает его только при разрешённом обходе. Сначала откройте обход, потом ставьте noindex.

Нет. Файл только просит робота не сканировать раздел, но уже проиндексированная страница может остаться в выдаче без содержимого — Google явно разделяет запрет сканирования и удаление из индекса. Чтобы убрать страницу из поиска, нужен тег noindex или закрытие паролем, а не запись в robots.txt.

Формально нет: сайт можно проверить и без этой строки, если карта сайта уже добавлена через панель вебмастера. Но ссылка в robots.txt — самый простой способ подсказать роботу, где искать список страниц, особенно если сайт крупный и часть разделов обновляется редко.

Ничего катастрофического: при отсутствии файла робот считает, что можно сканировать всё. Это не ошибка сама по себе, но и не лучший вариант: без явных правил в индекс могут попасть служебные страницы вроде корзины или админки, которые лучше скрыть от выдачи.