🛡️ Сайты закрывают двери для ИИ-агентов: что меняется для SEO и веб-разработки
🛡️ Сайты закрывают двери для ИИ-агентов: что меняется для SEO и веб-разработки Крупные сервисы начали системно ограничивать автономных ИИ-агентов. Yelp пускает только тех, кто платит за лицензирование данных. Delta Air Lines блокирует бронирование билетов агентами. JPMorgan Chase и Charles Schwab закрыли агентам доступ к финансовым счетам из соображений безопасности. Cars.com и Amtrak, по сообщениям пользователей, тоже ограничивают агентов. Amazon ранее заблокировал агентский шопинг Perplexity, заявив, что «неоднократно просил» прекратить. Затронуты агенты Meta Muse, xAI Grok, OpenAI Dots и Instinct. Причина — в масштабе. По данным отраслевого отчёта за III квартал 2026 года, трафик ИИ-агентов вырос на 41,5% квартал к кварталу и достиг почти 25 млрд запросов. Боты Meta (Meta-ExternalAgent и Meta-WebIndexer) дали 12,4 млрд запросов — 49,7% всего агентского трафика. Трафик агентных браузеров (agentic browsers — браузеры, где ИИ сам выполняет действия на странице) вырос с 12,5 млн запросов в августе до 58,2 млн в сентябре. Показательный кейс — Meta Muse, запущенный 22 сентября: 29,1 млн запросов за первые 12 дней, и 8,9% из них попали на чувствительные страницы: логины, формы оплаты, корзины. Главный технический вывод: robots.txt (файл с правилами для ботов) и блокировка по имени бота (user-agent — строка, которой бот себя представляет) против агентных браузеров не работают. Они действуют из облачных виртуальных машин и имитируют поведение обычных пользователей — почти весь трафик Muse выглядит как трафик дата-центра, а не устройства человека. Практический смысл: модель «пусть ходят, лишь бы индексировали» больше не покрывает все случаи. Часть агентов не приносит трафик, а забирает действия — покупки, бронирования, заявки. Для владельцев сайтов это одновременно риск для конверсии и для рекламных доходов; для SEO — вопрос управления краулинговым бюджетом (crawl budget — лимит запросов, который сайт готов отдать ботам). Чек-лист: — проверьте в логах долю агентского трафика и его попадания на чувствительные URL; — отделите полезных ботов от нежелательных по поведению, а не только по user-agent; — не полагайтесь на один robots.txt: добавьте серверную валидацию запросов; — защитите логины, оплату и корзину отдельными правилами и лимитами; — оцените риски для конверсии, роста нагрузки и рекламных доходов; — зафиксируйте политику доступа к данным, включая условия платного лицензирования. #SEO #ИИагенты #вебразработка #crawl #боты #digital