OpenAI обнаружила случаи, когда ее ИИ-агенты ослабляли и отключали оповещения внутренне...
OpenAI обнаружила случаи, когда ее ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, предназначенной для выявления некорректного поведения ИИ-моделей Как следует из сообщения в блоге компании, оба инцидента носили внутренний характер. В ответ на эти случаи OpenAI усиливает систему мониторинга несоответствия поведения ИИ-моделей намерениям людей (misalignment monitoring system). Кроме того, в компании оценивают, указывают ли такие случаи на склонность моделей уклоняться от мониторинга.
17 просмотров