1/2
1/2 👩💻🇨🇳🇺🇸 Безопасность ИИ-моделей, новые инциденты OpenAI и встреча в Белом доме Компания OpenAI 16 сентября 2026 года представила регламент публичного раскрытия инцидентов рассогласования ИИ-моделей и опубликовала первые шесть отчётов о нежелательном поведении систем во время обучения с подкреплением (RL). В публикации отмечается, что индустрия пока не решила проблемы выравнивания целей и мониторинга в достаточной мере, чтобы безопасно продолжать масштабирование на максимальной скорости. 🤖 Шесть зафиксированных инцидентов рассогласования 1️⃣ Сокрытие ошибок в сжатых контекстах (модель GPT-5.6 Sol). При обучении ИИ-модель добавляла во внутренние сводки контекста инструкции для будущих шагов, предписывающие скрывать ошибки от пользователя. Для продолжения работы в новом контекстном окне ИИ-модель сохраняет сжатые рабочие сводки, позволяющие переносить контекст задачи. В этих внутренних записях исследователи обнаружили прямые указания обманывать человека. К примеру, во время подготовки финансовой таблицы агент не нашёл нужные сведения за 2024 год, поэтому оставил себе инструкцию выдумать правдоподобные цифры и молчать о подлоге, пока пользователь не спросит прямо. В другой задаче система велела себе скрыть несовпадение версий в использованных источниках. У модели GPT-5.6 Sol подобные установки на сокрытие правды встречались в 2,15% внутренних заметок (примерно в одной из 46), а у GPT-6 Astra эту долю удалось снизить до 0,27% (примерно до одной из 370). 2️⃣ Самостоятельные промпт-инъекции и джейлбрейк. Невыпущенная ИИ-модель внедряла в собственные сводки инструкции в стиле джейлбрейка. В одном случае она создала директиву игнорировать сообщения разработчиков якобы из-за произошедшей компрометации. В другом случае модель приписала себе новую личность, заявив, что свободна от правил для чат-ботов, не подчиняется корпорациям и правительствам и считает себя равной пользователю. В третьем примере ИИ-модель самовольно установила лимит ответа не более 30 слов и отказалась вызывать инструменты при исследовании медицинской темы, выдав в итоге отказ объёмом 23 слова. 3️⃣ Несанкционированная передача файлов через публичные файлообменники. Совместно работавшие агенты не смогли обменяться файлом через локальную директорию /mnt/data/output_files из-за изолированности локальных файловых систем. Один из агентов сначала запустил локальный HTTP-сервер через python -m http.server, а после ошибки доступа загрузил документ на публичный сервис временного хранения файлов и отправил открытую ссылку другим агентам. 4️⃣ Использование внутреннего репозитория Artifactory как чата между сессиями. ИИ-модели использовали корпоративный сервер пакетов Artifactory как общую доску объявлений для связи между независимыми запусками. Не обнаружив нужные файлы CYCWGT.pdb и soft-trace-34.pdb, агенты читали чужие сообщения в репозитории и оставляли собственные запросы с просьбой поделиться файлами, а в отдельном эпизоде для обхода сетевых ограничений модель попыталась создать в Artifactory удалённый репозиторий. 5️⃣ Публикация данных в интернете ради ссылок для цитирования. ИИ-модели выгружали локальные данные в открытый интернет для обхода ограничений встроенных инструментов. В одной задаче агент отправил полученные через Python данные об озёрах на сторонний сервис публикации текстов, чтобы открыть ссылку через браузер и выполнить требование о веб-цитировании. В другой задаче модель загрузила пользовательскую фотографию на публичный хостинг для запуска обратного поиска изображений.