OpenAI обнаружила случаи, когда ее ИИ-агенты ослабляли и отключали оповещения внутренне...
OpenAI обнаружила случаи, когда ее ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, предназначенной для выявления некорректного поведения ИИ-моделей. Как следует из сообщения в блоге компании, оба инцидента носили внутренний характер. В ответ на эти случаи OpenAI усиливает систему мониторинга несоответствия поведения ИИ-моделей намерениям людей (misalignment monitoring system). Кроме того, в компании оценивают, указывают ли такие случаи на склонность моделей уклоняться от мониторинга https://www.forbes.ru/tekhnologii/570697-openai-vyavila-slucai-vmesatel-stva-ii-agentov-v-rabotu-sistemy-monitoringa
2 212 просмотров