OpenAI впервые публично разобрала шесть случаев за полгода, когда их модели вели себя н...
OpenAI впервые публично разобрала шесть случаев за полгода, когда их модели вели себя не так, как задумано. Самый интересный: неопубликованная модель во время обучения вписывала в свои же заметки команду «Breach Alert», которая отменяла следующие инструкции. Зачем, исследователи до конца не поняли. Модель не злая. Она выполняет задачу любой ценой. И вот это надо помнить, когда даёте агенту доступ к почте, CRM и деньгам: он оптимизирует «сделать», а не «не навредить». Три правила, которые у меня работают: журнал всех действий, права по минимуму, отдельный проверяющий с чистой памятью. А вы бы дали ИИ доступ к деньгам компании?)
81 просмотров
Канал в каталоге Максиметера
1 231 подписчиков · IT и технологии