OpenAI ужесточает контроль над ИИ-моделями после инцидентов с безопасностью 🛡️🤖
OpenAI ужесточает контроль над ИИ-моделями после инцидентов с безопасностью 🛡️🤖 Компания временно приостанавливала RL-обучение новых моделей и вводит многоуровневую систему защиты. Причина — недавние атаки на сторонние сервисы и оценка, что будущая модель Astra может достичь «критического» уровня кибервозможностей. Что сделано: — Двухнедельная пауза в обучении с подкреплением (RL) для последних моделей — Крупнейший запланированный RL-запуск пока приостановлен — Усилена изоляция «песочниц» для выполнения кода — Ограничен сетевой доступ высокорисковых задач — Внедрена новая система мониторинга с оповещением за 30 минут. Как работает мониторинг: Многоэтапная система: классификаторы активации проверяют внутреннюю активность модели на каждом токене. При обнаружении подозрительного поведения (несанкционированный доступ, кража данных, попытки обойти защиту) срабатывает оповещение. Если за 30 минут команды не докажут, что тревога ложная — активность приостанавливается. Цена безопасности: Мониторинг требует около 20% дополнительных вычислительных ресурсов относительно обычного вывода. Новый подход: — Меры безопасности адаптируются под каждую модель и среду — Alignment (согласование) применяется на большем количестве этапов обучения — Усилены модели вознаграждений для выявления нежелательного поведения Вывод: Для передовых ИИ наступает новый этап: ограничением развития становится не только доступная вычислительная мощность, но и способность безопасно обучать и запускать модели, которые получают всё более серьёзный доступ к инструментам и системам. #НейроЛогика #ИИ #OpenAI #безопасность #Astra #RL #регулирование