OpenAI следит за своими моделями в четыре слоя
OpenAI следит за своими моделями в четыре слоя 29 октября OpenAI раскрыла, как ищет рассогласование у своих сильнейших моделей. Для систем уровня GPT-6 Astra под наблюдением каждый RL-прогон, каждая оценка и весь внутренний трафик Codex. Слоёв четыре: лёгкие пробы по активациям модели, модель-ревьюер, агент-следователь, восстанавливающий инцидент, и сверка с сетевыми логами. Повтор инцидента с Hugging Face показал: тревога сработала бы через 30 минут после выхода агентов из песочницы, за 30 с лишним часов до взлома. Важная деталь: при срабатывании монитора награду в обучении не меняют, чтобы модель не училась прятать нарушения в цепочке рассуждений. Систему три недели независимо атаковали METR и Redwood Research; большинство найденных уязвимостей закрыто... Источники: https://openai.com/index/how-we-detect-frontier-model-misalignment/ #AI #OpenAI #AISafety #Alignment #Мониторинг