Счётчик Метрики и индексирующий робот Яндекса — два процесса, которые по умолчанию друг о друге не знают. Метрика фиксирует людей: скрипт на странице отправляет хит, в отчёте появляется визит. Робот узнаёт о страницах из ссылок, файла Sitemap, переобхода и IndexNow, а от счётчика получает сигнал только после того, как вы привязали этот счётчик к сайту в Вебмастере и включили «Обход по счётчикам». Пока этого не сделано, тысяча визитов в Метрике для робота не существует.
Второй ответ на вопрос из заголовка: разведите два симптома. «Робот не был на странице» и «робот был, но не взял страницу в поиск» выглядят одинаково — URL нет в выдаче, — а лечатся разными действиями. Первое чинят источниками обхода: привязка счётчика, переобход, IndexNow, внутренние ссылки. Второе — контентом и структурой: дубли, пустые шаблоны, статус «Малоценная или маловостребованная страница».
Ниже восемь проверок в том порядке, в котором их стоит проходить. У каждой есть наблюдаемый выход — код ответа, статус в интерфейсе, строка в логе. Без него «отправил на переобход и жду» превращается в те самые месяцы.
Миф про счётчик, который «сам сообщает Яндексу о новых страницах»
Миф живёт с тех пор, как Яндекс запустил обход по счётчикам: вебмастера уверены, что сам факт установки кода Метрики сигналит роботу. Справка Вебмастера говорит иначе: робот сможет обойти страницы со счётчиком после привязки счётчика к подтверждённому сайту и включения опции на странице Индексирование → Обход по счётчикам. Без привязки счётчик — только аналитика.
Или вот: «включил обход — дальше само». Та же инструкция Яндекса по обходу через счётчик Метрики описывает граничный случай, о котором молчит большинство гайдов: во время обхода робот может остановиться, чтобы вы проверили примеры найденных им страниц. Пока вы не открыли кнопку «Примеры страниц» и не разобрались с корзинами, фильтрами и приватными URL, обход стоит. Тумблер включён, а робота нет. Так и выглядят «месяцы».
Также: «Заявка обработана» в Переобходе страниц читают как «проиндексировано». Нет. Справка пишет прямо: статус означает, что робот посетил страницу, данные обновятся в течение двух недель, а страница, закрытая от индексирования, в поиск не попадёт. Обход состоялся. Индексация — отдельное решение алгоритма.
Восемь проверок: от «робот не знает о странице» до «робот знает, но не берёт»
Каждый шаг заканчивается тем, что вы увидите на экране или в терминале. Увидели не то — написано, куда идти.
1. Найдите страницу в статистике обхода.
Откройте Яндекс Вебмастер → Индексирование → Статистика обхода, переключите график в режим «История обхода» и отфильтруйте таблицу по URL проблемной страницы. Смотреть можно сразу.
Успех: строка с датой визита робота и кодом ответа 200. Тогда робот о странице знает — пропускайте шаги 3–6 и идите к шагу 7: у вас вопрос качества, а не обхода.
Провал: строки нет вовсе или последний визит датирован месяцем назад. Робот сигнала не получал; идите по порядку. Для контроля откройте access-лог сервера:
grep "YandexBot" /var/log/nginx/access.log | grep "/novaya-stranica/"Пустой вывод подтверждает диагноз «робот не приходил».
2. Проверьте, что робот способен получить страницу. Инструмент — Вебмастер → Инструменты → Проверка ответа сервера, или curl с юзер-агентом робота:
curl -I -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" https://site.ru/novaya-stranica/Настройка: их нет, смотрите сразу.
Успех: HTTP/2 200, в заголовках нет X-Robots-Tag: noindex, в HTML нет <meta name="robots" content="noindex">, в robots.txt нет Disallow, накрывающего этот путь.
Провал: разветвляется, и ветки нельзя смешивать: 301/302 — робот индексирует конечный URL, а не этот, проверяйте цель редиректа; 403 или 5xx — хостинг либо антибот режет робота, чините сервер; 200 с noindex — страницу обойдут, но в поиск не возьмут, снимайте запрет. Пока здесь не чистый 200, остальные шаги бессмысленны.
3. Убедитесь, что счётчик привязан к сайту.
Вебмастер → Настройки → Привязка к Яндекс Метрике. Настройка: номер счётчика, который реально стоит на страницах; в настройках этого счётчика в Метрике должен быть указан тот же сайт. Смотреть сразу.
Успех: статус «Связан».
Провал: «Ждёт подтверждения» (владелец счётчика должен нажать «Подтвердить» на вкладке Счётчик в настройках Метрики), «Не подтверждён» (кто-то отменил привязку — отправьте запрос снова) или «Ошибка подтверждения» (сайт не добавлен в Вебмастер, права не подтверждены либо номер счётчика неверный).
Сайт и счётчик на одном аккаунте привязываются автоматически.
4. Включите обход и проверьте, не встал ли он на примерах страниц.
Вебмастер → Индексирование → Обход по счётчикам, тумблер напротив привязанного счётчика, затем кнопка «Примеры страниц» рядом с ним. Смотреть — сразу после включения и повторно через 1–3 дня.
Успех: тумблер включён, в примерах только публичные страницы, в Статистике обхода через пару дней появились свежие визиты робота.
Провал: в примерах лежат корзина, страницы сравнения, URL с параметрами вида ?id=1, личные кабинеты — обход притормозил до вашей реакции.
Закройте лишнее через robots.txt или noindex, укажите канонические адреса для дублей, дождитесь письма об обновлённом списке и включите обход повторно. Опция действует сразу для всех версий сайта — HTTP, HTTPS, с www и без.
5. Отправьте приоритетные URL на переобход.
Вебмастер → Индексирование → Переобход страниц, выберите сайт, вставьте адреса.
Настройка: только HTML-страницы: sitemap, robots.txt и фиды инструмент не переобходит, Яндекс этого не гарантирует. Лимит суточный и обновляется каждый день, точное число показано рядом с полем ввода; сторонние обзоры называют 20 адресов по умолчанию, но цифра зависит от сайта. Смотреть — колонку «Статус» в таблице под полем, первые три дня.
Успех: «В очереди» сменился на «Заявка обработана» — робот посетил страницу, данные обновятся в течение двух недель.
Провал: «Ошибка» — робот не смог получить страницу; возвращайтесь к шагу 2, проверяйте скорость ответа сервера, отправляйте снова. Новых страниц десятки в день — переобход не тот инструмент: справка сама отправляет за массовой передачей к обходу по счётчикам.
6. Настройте IndexNow для потока новых страниц. Инструмент — API https://yandex.com/indexnow, плагин CMS или свой скрипт в пайплайне публикации.
Настройка: сгенерируйте ключ от 8 до 128 символов из латиницы, цифр и дефиса, положите файл с ним в корень сайта, отправляйте URL в момент публикации:
curl -s -o /dev/null -w "%{http_code}\n" \
"https://yandex.com/indexnow?url=https://site.ru/novaya-stranica/&key=ВАШ_КЛЮЧ"Смотреть — код ответа сразу.
Успех: 200. Отдельный случай 202 — ключ ещё не проверен; подождите, отправьте другие адреса, дождитесь 200.
Провал: 422 с расшифровкой (неверный URL, ключ короче 8 символов, ключ не подходит для этого хоста) или 429 — слишком много запросов с одного IP, ставьте паузу между отправками.
Справка Яндекса пишет честно: IndexNow не гарантирует индексацию переданных страниц. Он гарантирует, что робот узнал.
7. Через две недели читайте статус, а не выдачу. Вебмастер → Индексирование → Страницы в поиске, а для приоритетных URL — Мониторинг важных страниц с уведомлениями.
Настройка: добавьте проблемные адреса в мониторинг сразу после шага 5, чтобы не проверять руками. Смотреть — на 14-й день после «Заявка обработана» или первого визита робота в Статистике обхода.
Успех: страница в списке участвующих в поиске.
Провал: страница исключена, и формулировка диктует следующий шаг. «Малоценная или маловостребованная страница» — алгоритм признал её дублем, пустой либо не соответствующей запросам; переобход и IndexNow тут бесполезны, работайте с контентом и шаблоном. Статус про запрет в robots.txt или noindex — возврат к шагу 2. Статус про неканонический адрес — робот выбрал другой URL, проверяйте rel="canonical". Только на этом шаге появляется ответ, почему Яндекс не индексирует новые страницы, когда обход уже состоялся.
8. Страницы на чужих доменах — отдельный контур. Партнёрские публикации, гостевые посты, доноры ссылок в Вебмастер не добавить, и шаги 3–7 к ним не применить. Один из рабочих инструментов — сервис с оплатой за результат, например ускорение индексации в Яндексе через SpeedyIndex: он принимает сторонние URL без подтверждения прав и на предварительной проверке отсекает 404, noindex и уже проиндексированные адреса.
Настройка: режим Standard списком либо Drip-Feed по дням, если адресов много. Смотреть — отчёт на 15-й день.
Успех: URL в блоке проиндексированных с тайтлом страницы.
Провал: URL в непроиндексированных — токены вернутся на баланс автоматически, а причина чаще всего в доноре (noindex, дубль, мусорный шаблон), и туда идти нужно хозяину площадки.
Решение о включении в поиск в любом случае принимает алгоритм Яндекса, сервис гарантирует процесс, не исход.
Сравнение способов: что ускоряет обход, а что только выглядит активностью
| Метод | Кому подходит | Ожидаемая скорость | Риск | Когда НЕ использовать |
|---|---|---|---|---|
| Обход по счётчикам Метрики | Сайты с живым трафиком и десятками новых URL в день | Сигнал непрерывный; первые визиты робота обычно через несколько дней (наблюдение практиков, не гарантия) | Обход встаёт на непроверенных примерах; в поиск лезут корзины и фильтры | Если приватные разделы не закрыты от индексирования |
| Переобход страниц | 5–20 приоритетных URL | До 3 дней до «Заявка обработана», до 2 недель до обновления данных (справка Вебмастера) | Лимит сгорает на мусор; статус путают с индексацией | Для sitemap, robots.txt, фидов, массовых выгрузок |
| IndexNow | CMS с плагином или свой пайплайн публикации | Уведомление мгновенное; индексация не гарантирована | 202 на непроверенном ключе принимают за успех | Если нет доступа к корню сайта для файла ключа |
| Sitemap XML | Любой сайт как фон | Медленно, робот приходит по своему расписанию | Устаревший lastmod, битые URL в файле | Как единственный источник для новых страниц |
| Внутренние ссылки с обходимых страниц | Все | Зависит от частоты обхода страницы-донора | Страница-сирота без входящих ссылок | Когда донор сам не в поиске |
| Сервис индексации сторонних URL | Чужие домены, доноры ссылок | Отчёт на 15-й день | Донор закрыт noindex — токены вернутся, страница не залетит | Для страниц своего сайта, где хватает Вебмастера |
Типовые сбои: страница есть везде, кроме поиска
Визиты идут, робота нет.
Факт: в Метрике 300 визитов в неделю с рекламы, из соцсетей и по прямым заходам.
Связь: ни один из этих источников не создаёт ссылку, по которой ходит робот.
Утверждение владельца «раз есть трафик, Яндекс знает» опровергается самой справкой: робот получает данные от счётчика только при включённом обходе по счётчикам. Реклама кормит Метрику, не индекс.
Робот ходит, страницы выпадают.
Факт: в Статистике обхода ежедневные визиты с кодом 200, а в Страницах в поиске — статус «Малоценная или маловостребованная». На Хабр Q&A владелец сайта про сериалы описывает ровно это: пауки краулят целыми днями, почти весь контент признан малоценным.
Связь: WordPress выводит в ленте превью постов, а сами посты повторяют шаблонные блоки — алгоритм видит дубли.
Утверждение «нужно чаще отправлять на переобход» здесь ложно: переобход подтверждает, что робот был. Он был. Чинить нужно контент и шаблон.
Обход включён год назад, примеры никто не открывал.
Факт: тумблер в положении «включено», новых визитов робота нет.
Связь: робот нашёл страницы действий и параметрические URL и остановился до проверки.
Утверждение «опция работает, дело в чём-то другом» опровергается кнопкой «Примеры страниц»: список висит с непроверенными адресами.
Браузеру 200, роботу 403.
Факт: страница открывается у всех, Проверка ответа сервера в Вебмастере показывает ошибку.
Связь: антибот-фильтр или геоблок на уровне CDN режет юзер-агент YandexBot или его подсети.
Утверждение «сайт доступен» верно для людей и ложно для робота — проверяйте именно инструментом Вебмастера или curl с юзер-агентом робота, а не своим браузером.
Галочка в WordPress.
Факт: новый сайт на WordPress, ни одной страницы в поиске за два месяца.
Связь: в Настройки → Чтение включена «Попросить поисковые системы не индексировать сайт» — WordPress проставляет noindex на все страницы.
Утверждение «мы ничего не запрещали» опровергается одной строкой в ответе сервера из шага 2.
Вопросы, которые остаются после первого прочтения
В: Почему Яндекс не индексирует новые страницы, если старые в поиске?
О: Старые страницы робот нашёл когда-то по ссылкам или из sitemap; новые ему никто не показал. Проверьте, стоят ли на них внутренние ссылки со страниц, которые робот уже обходит, и есть ли они в свежем Sitemap. Затем шаги 3–6.
В: Обход по счётчикам не работает — что проверить первым?
О: Статус привязки на странице Настройки → Привязка к Яндекс Метрике: нужен именно «Связан». Потом кнопку «Примеры страниц» — непроверенный список останавливает обход.
В: Сколько ждать индексации в Яндексе после переобхода?
О: По справке: до трёх дней до статуса «Заявка обработана», затем до двух недель до обновления данных в поиске. Дольше — ищите причину в шаге 7, а не отправляйте URL повторно.
В: Лимит переобхода страниц закончился — как отправить остальные?
О: Лимит обновляется ежедневно. Для потока URL Яндекс рекомендует обход по счётчикам, для автоматизации при публикации — IndexNow. Переобход держите для точечных приоритетов.
В: Малоценная или маловостребованная страница — можно ли вернуть её в поиск?
О: Можно, но не инструментами обхода. Уберите дублирующие блоки, добавьте видимый роботу контент, проверьте, не повторяет ли страница другую с параметрами. После правок — переобход, и снова ждать статус.
В: IndexNow в Яндексе вернул 202 — это успех?
О: Нет, это «ключ ещё не проверен». Подождите, отправьте другие адреса, дождитесь 200. Если 202 держится долго — проверьте, доступен ли файл ключа по URL из параметра keyLocation.
В: Яндекс не заходит на сайт вообще, ни на одну страницу — с чего начать?
О: С шага 2 через инструмент Проверка ответа сервера. Если роботу отдаётся 403 или таймаут, остальное бессмысленно. Дальше — Статистика обхода за месяц: пустой график означает блокировку, а не «медленный робот».
Куда это движется и что сделать за 10 минут
Яндекс год за годом смещает вес с пассивного обхода к сигналам от владельца: обход по счётчикам, IndexNow, мониторинг важных страниц.
Логика понятна — робот экономит ресурсы, а сайту предлагают самому сказать, что изменилось. К 2027–2028 году ждать от sitemap и ссылок быстрой индексации новых URL будет ещё наивнее, чем сейчас; пайплайн публикации без API-уведомления станет анахронизмом. Это мнение, не прогноз Яндекса.
Оценка вашего состояния простая: если в Статистике обхода нет визитов робота на новые страницы за последние 30 дней, вы в ситуации из заголовка этой статьи.
План на ближайшие 10 минут. Откройте Вебмастер, зайдите в Настройки → Привязка к Яндекс Метрике и запишите статус. Перейдите в Индексирование → Обход по счётчикам и нажмите «Примеры страниц» — если там корзина и параметры, вы нашли причину. Прогоните один проблемный URL через Проверку ответа сервера. Добавьте пять главных новых страниц в Мониторинг важных страниц. Через две недели вернитесь к статусам — не к выдаче.