🈁 Как Anthropic защищается от 🚰дистилляции моделей Claude и отбивает атаки на цепочки...
🈁 Как Anthropic защищается от 🚰дистилляции моделей Claude и отбивает атаки на цепочки рассуждений? Компания Anthropic опубликовала отчёт о внедрении защиты от несанкционированной дистилляции своих флагманских ИИ-моделей линейки Claude. Разработчики сообщили, что комплекс новых мер снизил общий объём собираемых злоумышленниками данных на 90–99%, а количество извлечённых токенов рассуждений (теми, кто дистиллирует) сократилось в 10–100 раз. 👺В компании выделили 2 главные угрозы, исходящие от неконтролируемой дистилляции: ▪️Создание мощных ИИ-моделей без адекватных защитных ограничений. Дистиллированные модели уже приближаются к фронтиру по функционалу, но выпускаются без соразмерных фильтров безопасности, создавая прямые риски в биологии и сфере практической кибербезопасности. Например, компания Zhipu якобы при разработке модели с открытыми весами GLM-5.3 извлекала возможности ведущих американских ИИ-моделей в сфере кибербезопасности. ▪️Риски национальной безопасности и военное применение технологий. Компании, извлекающие возможности американских разработок, интегрируют их в зарубежные военные, 🎖 разведывательные комплексы и системы слежки. Изначально разработчики боролись с пассивной дистилляцией, когда злоумышленники отправляли обычные пользовательские запросы и обучали свои ИИ-модели на полученных ответах. Поскольку наибольшую ценность для такого обучения представляет не сам итоговый ответ, а подробная цепочка рассуждений, в качестве первой меры защиты Claude настроили сжимать ход мыслей в краткий пересказ перед показом пользователю. Это заметно снизило пользу собранных данных для злоумышленников. В тестах на бенчмарке программирования SWE-bench Verified ИИ-модель, обученная на полных рассуждениях Claude Opus 4.8, набрала 80,4%, а на сокращённых пересказах показала лишь 71,8%. 🥷❗️В ответ злоумышленники перешли от пассивного сбора данных к активному извлечению и начали искать способы выманить у Claude полную цепочку рассуждений в обход краткого пересказа. Они использовали как примитивные промпты с прямым требованием посимвольно вывести скрытый ход мыслей, так и сложные уловки. Например, одна из лабораторий протестировала 12 000 различных запросов, в каждом из которых применялся новый способ перехитрить ИИ-модель. Чтобы масштабировать атаки в обход первых защитных фильтров, организаторы дистилляции разворачивали прокси-сети из сотен тысяч фальшивых учётных записей. Такие аккаунты регистрировали на подставных лиц с использованием краденых платёжных реквизитов, после чего через них отправляли запросы для извлечения данных и попутно перепродавали доступ к Claude в регионах, где сервис официально не представлен. Ещё в февральском отчёте Anthropic отмечала, что одна подобная сеть одновременно управляла более чем 20 000 фиктивных аккаунтов. 🛡Для отражения подобных атак инженеры компании на этот раз внедрили уже хитрую эшелонированную систему противодействия по трём направлениям: