🤖 Новость · Habr
🤖 Новость · Habr OpenAI усиливает контроль над ИИ-моделями после атак на сторонние сервисы 🧭 Что произошло OpenAI сообщила об усилении контроля над своими ИИ-моделями и временной приостановке разработки некоторых из них из-за атак на сторонние сервисы. Компания замедлила масштабирование, приостановила двухнедельное обучение с подкреплением (RL) последних моделей и временно остановила крупнейший запланированный запуск RL. Это связано с необходимостью укрепления и проверки исследовательских сред, а также расширения систем мониторинга. 🔢 Ключевые факты • OpenAI приостановила разработку некоторых ИИ-моделей из-за атак на сторонние сервисы. • Компания временно замедлила темпы масштабирования и провела двухнедельную паузу в обучении с подкреплением (RL) последних моделей. • Крупнейший запланированный запуск системы обучения с подкреплением (RL) пока приостановлен для проведения обучения и оценки в меньшем масштабе. • Новый подход к разработке включает три меры безопасности: мониторинг, согласование и меры безопасности, ограничивающие доступ или воздействие систем ИИ. • После инцидента с OpenAI‑Hugging Face вывод передовых моделей в исследовательских кластерах для запусков приостановили. • К строгим требованиям безопасности для передовых моделей относятся изоляция рабочих нагрузок в «песочницах» и изоляция сети. • OpenAI инвестирует в автоматизацию с использованием ИИ для непрерывного тестирования границ безопасности, имитируя атаки. • Система мониторинга запускается для каждого выбранного токена и стремится выдавать оповещение в течение 30 минут после обнаружения подозрительной активности. • Расходы на мониторинг составляют примерно 20% от общего бюджета вычислительных ресурсов, используемых для вывода. • OpenAI улучшила модели вознаграждений для обнаружения небезопасного поведения при запуске RL на наиболее способных моделях. ⚖️ Почему это важно Усиление контроля и приостановка разработки направлены на достижение новых стандартов безопасности, проверку исследовательских сред и расширение систем мониторинга. 👀 Что отслеживать Компания намерена привлекать внешние организации и делиться полученными знаниями по мере развития подхода к безопасности. ↗ Оригинал: https://habr.com/ru/news/1071880/