🕷 Google уточнил, как срочно притормозить Googlebot
🕷 Google уточнил, как срочно притормозить Googlebot Google обновил документацию «Reduce the Google crawl rate»: раздел об экстренном снижении нагрузки от краулера переписан, и в него добавили явные указания по HTTP-заголовку Retry-After. Как это работает на практике. Если сервер перегружен, отвечайте на запросы Googlebot кодами 503 или 429 — поисковик снижает скорость обхода сразу для всего хоста. Дополнительно можно отдать заголовок Retry-After: он прямо говорит роботу, когда возвращаться за страницей. Значение указывается либо задержкой в секундах, либо абсолютной датой и временем по UTC. Что важно для SEO. Сама механика обхода не изменилась — Google и раньше понимал 500/503/429 как сигнал притормозить. Новое в том, что Retry-After теперь документирован именно в гайде по снижению crawl rate, а не спрятан в разделе про временную остановку сайта. Владельцы сайтов получили более предсказуемый инструмент вместо «глухого» 503 на несколько дней. Где риски. Приём задуман как краткосрочный — примерно на 1–2 дня. Если держать 429/503 неделями, страницы могут начать выпадать из индекса. Скорость обхода восстанавливается автоматически, как только частота этих кодов падает, поэтому штатные ответы нужно возвращать сразу после стабилизации сервера. Практический чек-лист: • Следить за отчётом Crawl Stats в Google Search Console и держать нагрузку на сервер под контролем. • При аварии отдавать 429/503 вместе с Retry-After, а не закрывать сайт целиком в robots.txt. • Возвращаться к обычным ответам сразу после устранения проблемы, не растягивать окно дольше 1–2 дней. • Проверять, что заголовок отдаёт ваш edge- или прокси-слой, а не теряет его по пути. Вывод: Google формализовал «вежливое» торможение краулера. Для команд SEO и DevOps это способ пережить пик нагрузки без потери индекса. #SEO #Google #Googlebot #CrawlRate #ТехническийSEO #Индексация