Агенты-формалисты
Агенты-формалисты OpenCode, открытый ИИ-агент для кодинга, который обычно используют как бесплатную альтернативу Claude Code, на прошлых выходных попал под атаку. Злоумышленники долбили его системы 48 часов подряд, в результате чего утекли API-ключи части клиентов, включая ключи для сервисов OpenAI, Anthropic и Google. Компания заявила, что инцидент связан с «крупномасштабной атакой дистилляции» и затронул 1,4% пользователей. Чтобы отбиться и разобраться в произошедшем, команда держала собственных ИИ-агентов включенными круглосуточно. Но тут начался бунт. Соучредитель OpenCode Дакс Раад рассказал в X, что фронтирные модели сначала помогали расследовать взлом, но потом «начали отказываться». Как только дело дошло до анализа потенциально вредоносного кода, того самого, которым их и атаковали, сработали предохранители. Модели заблокировали запросы, хотя команда пыталась защитить собственные системы. Помощь в обороне уперлась в фильтры, созданные для предотвращения атак. На самом деле это уже достаточно сформулированная проблема, у которой даже уже есть название — Defensive Refusal Bias (защитный отказ). Исследование Scale AI, прогнавшее 2390 запросов от участников National Collegiate Cyber Defense Competition через передовые модели, показало, что 43,8% полностью защитных запросов на укрепление систем были отклонены. Модели не различают намерение, они реагируют на слова вроде «exploit», «payload» или «shell», которые встречаются и в легитимной защите, и в атаке. Получается своего рода «safety-induced denial-of-service» для тех, кто пытается закрыть дыры. Индустрия пытается это лечить доступом по пропускам. У Anthropic есть Cyber Verification Program, у OpenAI — Daybreak Blue и Trusted Access. Проверенные исследователи получают модели с ослабленными фильтрами. OpenCode как раз получил доступ к Daybreak Blue и после этого отчитался, что «за последние дни сделали много улучшений». Но у этой медали есть обратная сторона. Программы верификации сами создают трудности (бюрократия, задержки, непоследовательные правила). И некоторые исследователи уже уходят на локальные open-weight модели, где никто не стучит по рукам за слово «exploit». Во время похожего инцидента в Hugging Face команда безопасности, упершись в ограничения фронтирных моделей, взяла китайскую open-weight модель и спокойно довела расследование до конца. Учитывая, какие в России планы по регулированию ИИ (хотя там что до агентов далеко как до луны, что до использования их в ИБ-расследованиях), текущая практика может стать очередными граблями. @antiinfosec
Канал в каталоге Максиметера
4 400 подписчиков · IT и технологии