Рубрики
Индексация в Google

Лимит на отправку URL в Google Indexing API исчерпан: чем заменить и как дожать ссылки

Квота Google Indexing API — 200 publish-запросов в сутки на проект Google Cloud. Когда она кончилась, API возвращает 429, и до полуночи по тихоокеанскому времени новых отправок не будет. Заменить её на эти часы нечем: остаток уезжает либо в sitemap с честным lastmod, либо в «Запросить индексирование» для 5–10 приоритетных URL, либо, если это бэклинки на чужих доменах, к стороннему индексатору, который приводит Googlebot без доступа к Search Console.

Официально Indexing API существует только для страниц с разметкой JobPosting и BroadcastEvent внутри VideoObject. Всё остальное — серая зона, которую Google терпит, пока не начинает считать спамом. Так что «дожать» через второй проект — это не обход, а ставка на то, что вас не заметят.

И ещё одно.. Пачка «неиндексированных» после исчерпания квоты почти всегда смешанная: свои страницы, которые API мог принять, и ссылки с доноров, которые он не принял бы никогда, потому что требует подтверждённого владения ресурсом. Разделите их на шаге 3 — дальше у двух групп разные маршруты.

Почему 200 в сутки — это не 200 новых страниц

Миф звучит так: «квота 200, значит, за день можно вбить 200 свежих URL». В реальности в те же 200 входят запросы URL_DELETED, повторные отправки уже отправленного адреса и запросы, которые упали с ошибкой 400, 403 или 404. Batch-запрос на 100 URL экономит соединения, но списывает 100 единиц квоты.

Отдельная ловушка — общий проект: если в одном проекте Cloud живут три сайта, квоту делят все трое.

Справка Google по квотам Indexing API указывает: суточный лимит на publish-запросы — 200 на проект, он покрывает и URL_UPDATED, и URL_DELETED; квоту сверх дефолта дают только страницам с JobPosting или BroadcastEvent, и она может расти или снижаться в зависимости от качества документов (обновление декабря 2025).

Из этого следует ровно один рабочий принцип. Квота — ресурс для приоритетных URL, а не транспорт для всего списка. Планировать 30 000 адресов через API — это планировать 150 дней. Или бан.

Схема: лимит Google Indexing API в 200 запросов уходит на удаления, повторы и ошибки, остаток URL — в sitemap и к Googlebot
Квота API считает удаления, повторы и ошибки наравне с новыми URL — поэтому остаток списка идёт другими маршрутами.

Лимит Google Indexing API исчерпан: 8 шагов с наблюдаемым результатом

  1. Убедитесь, что это квота, а не что-то другое. Откройте лог отправок и найдите текст ошибки: при исчерпании API отдаёт 429 Too Many Requests с сообщением Quota exceeded for quota metric 'Publish requests' and limit 'Publish requests per day' of service 'indexing.googleapis.com'. Затем зайдите в Google Cloud Console → APIs & Services → Web Search Indexing API → вкладка Quotas и посмотрите строку «Publish requests per day»: смотреть сразу. Успех диагностики — счётчик показывает 200 из 200 и время сброса. Провал — в логе 403 Forbidden или 404: это не квота, а отсутствие владения или битый URL, и на шаг 2 идти рано.
  2. Остановите скрипт и снимите остаток. Отключите повторные попытки, которые долбят в 429 (они квоту не тратят, но и не помогают), выставьте экспоненциальный бэк-офф на будущее. Сверьте список «отправлено» с исходным: инструмент — ваш лог или таблица, настройка — фильтр по коду ответа 200. Смотреть сразу. Успех — есть точный файл остатка вида rest.txt с числом строк. Провал — лог не писался, и вы не знаете, что ушло: тогда берите весь список и на шаге 7 массовой проверкой отсекайте уже проиндексированное.
  3. Разделите остаток на две группы и почистите каждую. Группа А — страницы ваших ресурсов, подтверждённых в Search Console. Группа Б — бэклинки на чужих доменах. Для каждого URL сделайте curl -I -L --max-redirs 5 <url> и смотрите конечный код и заголовки: смотреть сразу. УспехHTTP/2 200, нет X-Robots-Tag: noindex, канонический URL совпадает с отправляемым. Провал: 301 — в кампанию кладут конечный адрес, а не исходный; 200 с noindex в мета или заголовке — в индекс не пойдёт, чините тег; 404/410 — выбрасывайте, они только сожгут лимит и токены. Soft 404 (код 200, но страница-заглушка) — отдельный диагноз, её надо наполнять, а не отправлять.
  4. Группа А: отдайте Google sitemap с честным lastmod. Соберите отдельный файл sitemap-fresh.xml только из новых и изменённых URL, где <lastmod> совпадает с реальной датой правки, и подайте его в Search Console → «Файлы Sitemap». Смотреть: статус — через минуты, обход — через 3–7 дней в отчёте «Страницы». Успех — статус «Успешно», число обнаруженных URL равно числу строк, и через неделю часть адресов уходит из «Обнаружена, не проиндексирована» в «Проиндексирована». Провал — «Не удалось получить» (проверьте robots.txt и код ответа файла) или lastmod стоит на всех URL «сегодня»: Google такие даты перестаёт учитывать, и sitemap превращается в шум.
  5. Группа А, приоритетные 5–10 адресов: «Запросить индексирование». В Search Console вставьте URL в строку проверки, нажмите «Проверить URL на сайте», дождитесь вердикта «URL доступен для Google», затем «Запросить индексирование». Смотреть: вердикт живой проверки — сразу, индексацию — через 1–3 дня повторной проверкой. Успех — «URL есть в индексе Google» и совпадающий канонический адрес. Провал — «Превышена квота» на кнопке: у ресурса суточный лимит, Google число не публикует, практики называют порядка 10 запросов в день (оценка). Тогда остаток ждёт завтра или идёт в sitemap из шага 4.
  6. Группа Б: приведите Googlebot на доноров без Search Console. Здесь API молчит по определению, а у вас нет доступа к чужому ресурсу. Два рабочих варианта. Первый — страница-хаб на своём сайте, где стоят ссылки на доноров: обход пойдёт через ваш краулинговый бюджет. Второйсервис ускорения индексации в Google, который отправляет к URL мобильного Googlebot: например, SpeedyIndex принимает список до 100 000 адресов файлом, работает без подтверждения владения, режим Drip-Feed растягивает подачу по дням, а токены списывает только за проиндексированные URL — 100 за адрес, с автоматическим возвратом за то, что не вошло в индекс на 7-й день. Настройка: Drip-Feed для доноров с нового домена, Standard для устоявшихся. Смотреть — отчёт на день 7. Успех — в отчёте статусы «проиндексировано» с тайтлами страниц, скажем 28 из 40. Провал — статус «просканирована, но пока не проиндексирована»: бот дошёл, алгоритм отказал; это вопрос к качеству донора, а не к отправке.
  7. Проверьте результат, а не факт отправки. На день 7 для группы А откройте отчёт «Страницы» и «Проверку URL», для группы Б — массовую проверку индексации по списку (оператор site: в ручном режиме годится для десятка адресов, не для сотен). Настройка — выгрузка «проиндексировано / нет» в CSV. Успех — вы знаете точное число вошедших и точный список остатка. Провал — остаток больше половины: не отправляйте его повторно тем же способом, сначала прочитайте статусы отказа.
  8. Только если контент — вакансии или трансляции: попросите квоту. В Cloud Console → Quotas отметьте «Publish requests per day» → Edit Quotas → Apply for higher quota, заполните форму с URL примера и обоснованием. Смотреть — ответ по почте, обычно дни. Успех — новый лимит в той же строке квот. Провал — отказ или снижение квоты: Google прямо пишет, что она зависит от качества документов, а нецелевое использование ведёт к отзыву доступа. Для обычных страниц этот шаг пропускайте.

Чем заменить API: сравнение маршрутов

МетодКому подходитОжидаемая скоростьРискКогда НЕ использовать
Sitemap с честным lastmodСвои страницы, любые объёмыДни–неделиНизкийКогда lastmod рисуется автоматически «сегодня»
«Запросить индексирование» в Search Console5–10 приоритетных URL в деньЧасы–дниНизкий; лимит ресурсаДля списков на сотни адресов
Запрос на увеличение квоты Indexing APIВакансии, трансляцииДни на одобрениеКвота может упасть; доступ могут отозватьДля обычных статей, карточек, бэклинков
Второй/третий проект Cloud под тот же контентНикому в долгуюСразуСпам-детект, отзыв доступа сервисного аккаунтаВсегда, если дорожите доменом
Страница-хаб со ссылками на доноровБэклинки, небольшие пачкиДниТратит свой краулинговый бюджетЕсли хаб сам не в индексе
Сторонний индексатор (визит Googlebot, отчёт на день 7)Бэклинки и свои страницы без GSC, до 100 000 URL1–7 днейПлатно; результат решает алгоритмДля 404, noindex и мусорных доноров
IndexNowBing, ЯндексМинуты–часыНетДля Google — протокол он не поддерживает (на 2026 год)

Типовые сбои после «квота кончилась»

«Завёл второй проект — ещё 200 в день».

Факт: квота считается на проект.

Связь: два проекта дают 400 запросов.

Утверждение: значит, масштабируем проектами.

Опровержение: справка Google по API прямо предупреждает о спам-детекте и отзыве доступа при злоупотреблении, а квота официально выдаётся только двум типам разметки. Русскоязычные кейсы про 30 000 URL за 10 дней описывают процесс, а не судьбу аккаунта через полгода.

«429 прилетел, хотя отправил 120 адресов».

Факт: лимит 200.

Связь: 120 меньше 200.

Утверждение: у Google глюк.

Опровержение: в квоту попали удаления, повторы, неудачные 400/403/404 и, возможно, второй сайт в том же проекте. Откройте вкладку Quotas — там видно реальный расход, а не ваши ожидания.

«API принял, а страницы нет в индексе».

Факт: ответ 200 на publish.

Связь: Google получил сигнал.

Утверждение: значит, проиндексирует.

Опровержение: API только просит обойти URL. Дальше алгоритм решает сам, и статус «Страница просканирована, но пока не проиндексирована» — это отказ по качеству, а не сбой отправки. Повторная отправка его не лечит.

«Отправил бэклинки через API — 403».

Факт: API требует владения ресурсом.

Связь: донор — чужой домен.

Утверждение: нужен другой ключ.

Опровержение: никакой ключ не поможет; для чужих доменов маршрут — шаг 6.

«Подключил IndexNow — Google не реагирует».

Факт: IndexNow принимают Bing и Яндекс.

Опровержение короткое: Google в протоколе не участвует, и плагины «IndexNow for Google» продают вам Bing.

Иллюстративная модель: 640 URL после исчерпанной квоты

Иллюстративная модель на основе типичных условий для команды из линкбилдинга под англоязычные SaaS-сайты; цифры — помеченные диапазоны, не измерения реального клиента.

До: 640 адресов, из них ~200 своих статей и ~440 ссылок с доноров; квота сгорела за час, скрипт крутил ретраи до вечера.

Действия: шаги 1–3 отсекли ~60 битых и редиректящих URL; свои статьи ушли в sitemap-fresh.xml, 8 приоритетных — через «Запросить индексирование»; доноры — в Drip-Feed на 10 дней.

После: на день 7 свои страницы — в диапазоне 70–85 % в индексе (отраслевая оценка для свежих статей на устоявшемся домене), доноры — 40–60 % с автовозвратом за остаток; смоделированный провал — 30 доноров со статусом «просканирована, не проиндексирована», которых команда сняла из закупки.

Вывод: квота API ушла на приоритет, объём поехал другими маршрутами, а отчёт на день 7 заменил «кажется, индексируется».

FAQ

В: Сколько URL в день можно отправить через Google Indexing API?

О: По умолчанию 200 publish-запросов в сутки на проект Google Cloud, включая удаления и повторы. Лимит на минуту — 380 запросов на все эндпоинты и 180 на getMetadata.

В: Что значит ошибка 429 Too Many Requests в Indexing API?

О: Суточная квота publish-запросов исчерпана. Сброс — в полночь по тихоокеанскому времени. Ретраи до сброса бесполезны; включите бэк-офф и работайте с остатком другими маршрутами.

В: Как увеличить квоту Indexing API?

О: Через Cloud Console → Quotas → Edit Quotas → форма запроса. Google одобряет её для страниц с JobPosting и BroadcastEvent; для остальных типов контента запрос — лотерея с риском отзыва доступа.

В: Работает ли IndexNow для Google?

О: Нет. По состоянию на 2026 год Google не входит в протокол; IndexNow ускоряет Bing, Яндекс и их партнёров.

В: Как проиндексировать бэклинки без Search Console?

О: Indexing API их не примет — нужно владение ресурсом. Рабочие варианты: страница-хаб на своём сайте или сторонний индексатор, который приводит Googlebot и отдаёт отчёт по каждому URL на 7-й день.

В: Сколько запросов на индексирование в день даёт Search Console?

О: Google число не публикует, есть только формулировка «суточный лимит на ресурс». По наблюдениям практиков — порядка десяти, оценка. Для объёмов Google сам отсылает к sitemap.

В: Можно ли использовать Indexing API для обычных страниц блога?

О: Технически запрос уйдёт, но официально API предназначен для вакансий и трансляций; квоту для остального не увеличат, а массовое нецелевое использование Google называет злоупотреблением.

План на ближайшие 10 минут

Первое: откройте Cloud Console → Web Search Indexing API → Quotas и сфотографируйте реальный расход — он расскажет больше, чем ваш лог.

Второе: остановите ретраи.

Третье: прогоните остаток через curl -I -L и разложите на «свои» и «чужие».

Четвёртое: свои — в отдельный sitemap с честными датами, чужие — на маршрут без Search Console.

Пятое: поставьте в календарь день 7 и не трогайте список до него.

Прогноз на 2026–2028: Google будет и дальше сужать «серые» каналы push-отправки, а объём поедет через sitemap, честные сигналы свежести и визиты бота — планируйте пайплайн так, чтобы квота API была бонусом, а не несущей стеной.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *