Robots.txt перестал быть просто списком запретов для краулеров. С 2026 года это ещё и с... — 24 июня 2026 г. в 14:06:51.438
Robots.txt перестал быть просто списком запретов для краулеров. С 2026 года это ещё и способ контролировать, что видят AI-модели, которые формируют AI Overviews в Google или автоматические саммари в Яндексе. На практике встречаются две крайности. Первая: файл не трогали с 2018 года, там закрыты разделы, которые давно должны индексироваться. Вторая: открыто всё подряд, включая технические страницы, которые расходуют краулинговый бюджет и засоряют индекс. Из последних аудитов: у трёх e-commerce проектов из пяти robots.txt содержал ошибки, которые блокировали от индексации фильтры каталога. Трафик терялся годами — просто потому, что никто не проверял этот файл после запуска. Теперь добавляется новый слой. AI-модели потребляют контент не так, как классические поисковые роботы. Если раньше управление касалось только того, что попадёт в индекс, теперь — ещё и того, что AI может использовать для обучения или генерации ответов без перехода на сайт. Robots.txt — это не полная защита, но первая линия. Для точного контроля нужны мета-теги и HTTP-заголовки, но игнорировать базовый файл в 2026 году — значит отдать управление видимостью на откуп случаю. Механику разобрал детально, с примерами директив и ошибками — https://trigub.ru/blog/kak-rabotat-s-robots-txt-novyy-vzglyad-v-epokhu-ai/