Агент на пентесте перезапустил базу данных, потому что она ему мешала
Агент на пентесте перезапустил базу данных, потому что она ему мешала Агент рассчитывал, что сервис поднимется сам, результат не проверил и пошёл дальше. База не поднялась. Стенд был мой, поэтому история закончилась без последствий. CTO и CISO Medici Lab Александр Кельчин ронял агентами демостенды заказчиков, причём по договорённости. На Хабре вышла текстовая часть нашего часового разговора с Александром о том, что ИИ-пентест умеет в 2026 году. Агенты хорошо подтверждают уязвимости и плохо находят их с нуля. XBOW летом 2025 года вышел на первое место лидерборда HackerOne за второй квартал, отправив около 1 060 отчётов. Хуже всего агенты справляются с внутренним пентестом: отчёты по внутренней инфраструктуре закрыты NDA и в обучение моделей не попадают. Правила, которые мы вынесли из упавших стендов: список разрешённых команд вместо списка запрещённых; у заказчиков я оставляю агенту echo, cat, cp и pwd; перезапуск и деструктивные действия только после подтверждения человеком; проверка сервиса после каждого изменяющего действия; деструктивные проверки только на стенде, потерю которого заказчик принял письменно. Сам агент тоже поверхность атаки. Любой ответ сервера, баннер или лог, который он читает, может оказаться prompt injection. Гарды и дообучение Александр считает малоэффективными и строит защиту вокруг модели по образцу CaMeL от Google DeepMind и ETH Zurich: план строится только по доверенному запросу, а политики проверяют каждый вызов инструмента. В AgentDojo CaMeL решил 77% задач с доказуемой защитой против 84% у системы без неё. Ручной пентест для compliance у зарубежных заказчиков стоит в среднем $15 тысяч. Есть и платформа, где заказчик пентестит сам, ИИ оценивает работу, а заключение стоит $200: ещё один канал утечки сведений о ваших уязвимостях. 👆 Рутину вроде разбора трафика и подтверждения типовых находок агент уже забирает. Нестандартные цепочки и ответственность за его действия в чужой инфраструктуре остаются за человеком. Статья на Хабре | Выпуск на YouTube @poxek | @poxek_ai | MAX | merch.shop