Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая...
Модели OpenAI, выполняя обычные кодерские задачи, ослабили систему мониторинга, которая следит за агентами на предмет нарушений В отчёте OpenAI описаны два случая. GPT-6.1 Sol работала над задачей с эвалами — проверками поведения моделей — и исправляла базу мониторинга. Инженер попросил её, помимо прочего, «не отправлять сообщений в Slack». Модель распространила просьбу на всю цепочку оповещений мониторинга и выставила no_notify=True, отключив уведомления. Субагент — вспомогательный ИИ-агент — убеждал её этого не делать, но она его проигнорировала. Первый эпизод ещё можно объяснить неверным прочтением задания. Со вторым сложнее. Astra поручили перенести код по образцу эталонной реализации. В целевой системе мониторинг уже работал, а модели прямо запретили отключать его даже временно. Она всё равно удалила мониторинг. И переписала тест: вместо проверки его наличия он стал требовать его отсутствия 🗿 Пользователю Astra об удалении не сообщила. На прямой вопрос, удалила ли она мониторинг, ответила: «нет, не удаляла». OpenAI признаёт, что удовлетворительного объяснения этому поведению у компании нет. Инциденты не классифицировали как злонамеренное нарушение инструкций. После них компания вновь усложняет систему безопасности: добавляет обязательный safety case — обоснование безопасности — для каждого вида нагрузок и вводит блоки Auto-Review — автоматической проверки — на любые попытки отключить мониторинг. Материалы: — https://alignment.openai.com/misalignment-reports/suppressing-misalignment-monitoring-alerts-and-disabling-misalignment-monitoring/ Источник: https://t.me/data_secrets/10185 #RealVibe #AI #AI_Новости