🤖 27% сайтов случайно блокируют AI-краулеры — 6 мая 2026 г. в 13:00:33.631
🤖 27% сайтов случайно блокируют AI-краулеры Знаете, что бесит? По данным ziptie.dev , около 27% B2B SaaS и ecommerce-сайтов случайно блокируют LLM-краулеры на уровне CDN — и сами не подозревают об этом. Cloudflare, например, по умолчанию включает «Block AI Scrapers and Crawlers» в managed rules. И сайт молча выпадает из выдачи ChatGPT, Perplexity, Claude. Клиент платит за SEO/AEO, а его в AI-поиске тупо нет. Кайф, правда? 🙃 Парсить robots.txt руками по каждому сайту — за гранью. Поэтому собрала букмарклет: жмешь — за 2 секунды видишь, кто из 15 ботов имеет доступ к текущей странице. Делюсь. Что проверяет ✔️ robots.txt — с правильным приоритетом правил (как у Googlebot, а не «кто последний — тот и прав») ✔️ Meta robots — общие правила и отдельные для каждого бота ✔️ X-Robots-Tag в HTTP-заголовке (включая префиксы вида googlebot: noindex) ✔️ Canonical, hreflang, доступность всех sitemap ⚡️Главная фишка — подсветка аномалий. Если в группе 6 ботов заблокированы, а 1 открыт — увидишь желтую плашку «Намеренно или ошибка?». Не нужно глазами сканировать строки и тупить. Боты разделены на 3 группы: AI training — обучают LLM: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-External AgentAI search & live — отвечают за выдачу в ChatGPT, Perplexity, Claude: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-User, Claude-SearchBot Классические — Googlebot, YandexBot, bingbot Дополнительно ▪️Метка soft для ChatGPT-User и подобных. Эти боты могут игнорировать robots.txt при пользовательских запросах, поэтому блокировка через robots.txt тут в общем случае не работает — важно знать, чтобы не строить иллюзий. ▪️Экспорт в TSV — для отчетов и сравнения нескольких страниц. ▪️Прямая ссылка «Открыть robots.txt» — если надо лезть в исходник руками. Зачем это нужно Аудит видимости клиентского сайта в ChatGPT, Perplexity, Claude. Проверка случайных блокировок через CDN — те самые 27%, о которых выше. Контроль настроек на своих проектах после правок robots.txt и meta-тегов. Установка: добавляешь как закладку (инструкция в комментариях). Скрипт прикрепила отдельным файлом — копируйте содержимое в URL закладки.👇