Anthropic о злоупотреблениях ИИ
Anthropic о злоупотреблениях ИИ Anthropic опубликовала отчет о том, как их модели использовали для вредоносной деятельности в период с декабря 2025 по август 2026 по семи направлениям: ▪️кибероперации ▪️операции влияния на общественное мнение ▪️слежка ▪️разработка обычного вооружения ▪️биологическое оружие (!) ▪️мошенничество ▪️дистилляция В основном фигурируют Haiku, Sonnet и Opus. Fable и Mythos почти не задействованы, кроме одного кейса дистилляции. Логика в общем отчете прослеживается следующая: вот ИИ из ассистента превратился в оркестратора, в очередной раз упал порог входа. Одиночки, криминал и хактивисты получают возможности, которые раньше требовали команды и бюджеты. Угроза не только в генерации эксплойтов, а в ускорении всей цепочки (разведка, эксплуатация, закрепление, эксфильтрация). В общем вся стандартная песня, которую мы слышим в отчетах последних лет от каждого ИБ-спеца. Разве что в отчете повышенное внимание уделено к мультиагентным схемам, которые работают параллельно, человек лишь выбирает цели и утверждает результаты. Жаль вот что обороняться никто оркестры из моделей так научить не может. В части киберопераций самые показательные кейсы это: ▪️GTG-20006 — российская разведка, предположительно Midnight Blizzard (фишинг, DNS-хайджек, WhatsApp, 20+ организаций, Украина и Европа, дроны). ▪️GTG-50014 — ShinyHunters (1,8 млн APK, кража ключей, утечки и шантаж). ▪️GTG-10007 — китайская группа автономный exploit foundry, zero-day в security-продуктах, 50 организаций). ▪️GTG-50020 — охота за API-ключами Anthropic через prompt injection в песочницах. ▪️GTG-50029 — некий хактивист нашел в WordPress race condition, и создал doxxing-платформу. Во влиянии и слежке по схеме Influence-as-a-service отличились Китай, Иран и Мали. Фейковые сети, 70 сайтов, 250+ аккаунтов, аудитории в России, Иране, Турции, Заливе и других регионах. ИИ пишет доктрины, досье, контракты и даже ранжирует персонал. Также замечены массовый перехват на 25 млн симок, профилирование диссидентов, вредоносное расширение Firefox, автоматические досье. Ну среди прочего ИИ заменяет инженерную команду и аналитиков. Отдельно настораживают оружейные и биотехнологии. Тут сразу шесть кейсов по обычным вооружениям: Йемен с управляемой ракетой, Китай с торпедами и РЭБ/ПВО, Россия с роем дронов. ИИ пишет GNC, управление огнем, симуляции и закупочную документацию. В отчете также перечислены опасные биотемы. Речь идет об усилении функций вируса чикунгунья, птичьем гриппе, ортопоксвирусах, ядах и токсинах. Автоматические фильтры отсекают самые опасные запросы, но остаются запросы двойного назначения, ведь их можно использовать и для науки, и во вред. Кейс с фродом опишем отдельным постом, спойлернем лишь, что для ее работы было создано почти 5 тыс. ИИ-персон. Ну а про дистилляцию было уже достаточно отписано вчера по сообщениям ФБР. В общем, сам отчет внушительных объемов, обязательно к нему вернемся еще и не раз. @antiinfosec