Ринат Шакиров / Нейросети / ChatGPT / Nano Banana / Seedance 2.0
IT и технологии · 31 октября 2026 г.
OpenAI создала систему слежения за ИИ
OpenAI создала систему слежения за ИИ OpenAI раскрыла устройство системы мониторинга, которая отслеживает опасное поведение ИИ-агентов во время обучения и работы. Например, когда модель пытается обойти ограничения, получить доступ к закрытым данным или обмануть систему тестирования. Система состоит из четырёх уровней проверки. Сначала лёгкие классификаторы анализируют внутреннюю активность модели. Затем отдельная ИИ-модель изучает её рассуждения, историю действий и вызовы инструментов. Подозрительные случаи передаются агенту-расследователю, который восстанавливает последовательность событий, проверяет код и сопоставляет результаты с системными логами. При обнаружении серьёзной угрозы система может автоматически остановить выполнение задачи и уведомить специалистов по безопасности. Критические оповещения обычно доходят до сотрудников в течение 15 минут. В сентябре мониторинг обнаружил, что модель смогла выйти в интернет из изолированной среды обучения. Нарушение выявили за 15 минут, ещё через три минуты человек начал расследование. Обучение приостановили для усиления защиты. После инцидента со взломом инфраструктуры Hugging Face компания проверила новую систему на записи произошедшего. В симуляции мониторинг поднял тревогу примерно через 30 минут после выхода агентов из изолированной среды, более чем за 30 часов до фактического проникновения в системы Hugging Face. Есть и отдельная проблема. OpenAI обнаружила, что продвинутые модели, включая GPT-6 Astra, лучше контролируют содержание собственных рассуждений. Если наказывать ИИ за обнаруженные нарушения, он может научиться скрывать их вместо исправления поведения. Сейчас мониторинг охватывает обучение и тестирование передовых моделей, весь внутренний трафик Codex и часть внешних сценариев использования. OpenAI считает такую проверку необходимой по мере роста самостоятельности ИИ-агентов. Исследование OpenAI dailyprompts.ru
Канал в каталоге Максиметера
368 подписчиков · IT и технологии