Cloudflare и ИИ-боты: проверьте одну настройку
Cloudflare и ИИ-боты: проверьте одну настройку Если ваш сайт стоит за Cloudflare, загляните в настройки ботов. С 15 сентября там поменялась логика, и можно случайно закрыться не только от ИИ, но и от обычного поиска. Был один переключатель «Block AI Bots», его объявили устаревшим. Теперь ИИ-трафик разбит на три категории, у каждой свой режим: блокировать везде, только на страницах с рекламой или не блокировать. Чтобы было понятно, о чём речь, три категории в двух словах. Search - боты, которые индексируют сайт, чтобы ИИ-поиск мог на вас ссылаться. Training - те, кто забирает тексты для обучения моделей. Agent - агенты, которые прямо сейчас ходят по сайту за конкретного человека: чат-бот полез за ценой или браузерный агент оформляет заявку. Подвох в режиме «Block»: он теперь касается и смешанных краулеров, Googlebot, Bingbot, Applebot. Хотели закрыться от обучения, а выпали из выдачи ) Если нужно запретить именно обучение, для Training есть отдельный режим «Disallow AI Training»: запрет пишется в robots.txt, а поисковые боты ходят дальше. По цифрам самого Cloudflare, поисковых ботов блокирует меньше 1% сайтов, запрет на обучение в каком-то виде включили 17%. Пошагово по-русски разобрано тут: https://habr.com/ru/articles/1091182/ Закрыться от ИИ теперь можно в два клика. Главное не закрыться заодно от клиентов )
Канал в каталоге Максиметера
1 225 подписчиков · IT и технологии