🤖 Новость · Habr
🤖 Новость · Habr OpenAI приостановила обучение новых моделей из-за рисков 🧭 Что произошло OpenAI приостановила reinforcement learning (RL) для последних моделей, готовящихся к выпуску, на две недели из-за киберрисков. Причиной стали инцидент с Hugging Face и предварительная оценка модели Astra, показавшая высокий уровень кибервозможностей. Компания усиливает меры безопасности и мониторинга для новых моделей. 🔢 Ключевые факты • OpenAI приостановила reinforcement learning (RL) для последних моделей, готовящихся к выпуску, на две недели. • Компания проводит небольшие обучающие эксперименты и дополнительные оценки вместо крупного запланированного RL-запуска. • Поводом для приостановки стали инцидент с Hugging Face и предварительная оценка модели Astra, показавшей критический уровень кибервозможностей. • OpenAI усилила требования к изоляции песочницы для задач, выполняющих сгенерированный или недоверенный код. • Сетевой доступ высокорисковых и недоверенных workloads теперь дополнительно ограничивается. • Усиленный мониторинг поведения моделей теперь требуется для всех запусков Astra с инструментами. • Мониторинг требует примерно 20% дополнительных вычислительных ресурсов относительно inference compute. • Основные методы alignment для мощных моделей теперь применяются на большем количестве этапов обучения. ⚖️ Почему это важно Сама OpenAI прямо признает, что усиление защитных мер уже приводит к дополнительным затратам, задержкам и замедлению frontier‑исследований. 👀 Что отслеживать Компания планирует расширять Preparedness Framework и объединять мониторинг, alignment и security в единую систему контроля на всех этапах — от обучения до deployment. ↗ Оригинал: https://habr.com/ru/companies/bothub/news/1071952/