Zip-бомбы против агрессивных ИИ-краулеров. — 8 июля 2026 г. в 15:30:01.800
Zip-бомбы против агрессивных ИИ-краулеров. • Основной объём трафика в вебе возникает из-за ботов. По большей части, эти боты используются для обнаружения нового контента. Это читалки RSS-фидов, поисковые движки, выполняющие краулинг вашего контента, а сегодня и боты ИИ, собирающие контент, чтобы скармливать его LLM. По информации аналитического отчёта Fastly, краулеры, скраперы и фетчеры иногда создают нагрузку на сайт до 39 тыс. запросов в минуту. • Традиционно против ботов используется комбинация нескольких методов, включая ограничение на количество запросов и капчи — задачи, сложные для компьютеров, но тривиальные для людей, фильтрация по user-agent и т.д. но есть и более креативные решения... • Автор этого материала описывает актуальный метод защиты от агрессивных ИИ-краулеров с помощью zip-бомб, которые истощают оперативную память в дата-центре краулера. Это может быть стандартный архив размером 10 МБ, который распаковывается в 10 ГБ... Пример такой реализации можно найти по ссылке ниже: Читать статью [5 min]. #ИБ #Web