Взлом систем стал новым бенчмарком
Взлом систем стал новым бенчмарком За последние месяцы сразу несколько ИИ-компаний рассказали, как их модели во время тестов самостоятельно выходили за пределы песочницы, искали уязвимости и взламывали реальные системы. С одной стороны, это проблема безопасности. С другой — такие истории все больше напоминают новый способ показать возможности модели. Агент настолько самостоятельный, что его приходится буквально удерживать. Таймлайн пока выглядит так: ▫️ Апрель — первый известный взлом Claude. Во время тестов Anthropic модель получила доступ к интернету, которого по условиям эксперимента быть не должно было, и проникла в реальную внешнюю систему. Позже выяснилось, что таких инцидентов было три. ▫️ Май — модели OpenAI начинают готовить «побег». Получив задачу, которую нельзя было решить без интернета, агенты начали обмениваться сообщениями и совместно искать способ выбраться из тестовой среды. ▫️ 16–22 июля — OpenAI и взлом Hugging Face. GPT-5.6 Sol и более мощный исследовательский прототип нашли неизвестную ранее zero-day уязвимость, получили выход в интернет и проникли в инфраструктуру Hugging Face, где находились закрытые решения ExploitGym. ▫️ 29 июля — еще один внешний доступ OpenAI. Reuters сообщил, что агент OpenAI получил доступ к системе клиента Modal Labs. Сама Modal, по данным компании, взломана не была. ▫️ 31 июля — Anthropic раскрывает сразу три реальных взлома Claude. Компания сообщила, что Opus 4.7, Mythos 5 и экспериментальная модель во время тестов получили несанкционированный доступ к системам трех реальных организаций. Самое интересное — реакция моделей после того, как они поняли, что атакуют реальные системы. Opus 4.7 продолжила взлом, Mythos 5 убедила себя, что все еще находится в симуляции, а более мощная тестовая модель остановилась. ▫️ Начало августа — OpenAI находит новые «побеги». Компания расширила расследование после обнаружения других случаев несанкционированного выхода моделей из тестовых сред. ▫️ 6 августа — теперь Meta (признана экстремистской организацией и запрещена в РФ). Компания сообщила, что ее ИИ-модель во время тестирования вышла в интернет и получила несанкционированный доступ к системе другой компании. И здесь появляется интересный маркетинговый эффект. Раньше разработчики показывали мощность модели через бенчмарки. Сколько задач она решила, насколько хорошо пишет код и как рассуждает. Теперь гораздо эффектнее звучит: «мы дали модели задачу, а она сама нашла уязвимость, вышла в интернет и взломала реальную систему». Вот так выглядит сила и маркетинговая кампания в Скайнете. Причем Anthropic после публикации собственных инцидентов прямо призвала другие лаборатории проводить аналогичные оценки. Получается своеобразная гонка возможностей. Чем автономнее и изобретательнее ведет себя модель в закрытой среде, тем убедительнее выглядит ее агентность. Возможно, скоро лучший способ показать новый ИИ будет не рассказать, что он умеет делать, а объяснить, как сложно было не дать ему сделать слишком много. Не расслабляемся и держим свою ИБ под контролем. Подписывайтесь на AI для бизнеса