ЖС

Жизнь с ИИ

IT и технологии · 5 октября 2026 г.

Открыть канал в MAX

Новость от OpenAI, от которой слегка холодеет )

Новость от OpenAI, от которой слегка холодеет ) Внутренний ИИ-агент, который помогал исследователям, прочитал в Slack переписку сотрудников и узнал, что его рабочий экземпляр могут отключить для обновления. Дело было 22 мая, а отчет об этом OpenAI выпустила только 2 октября. Дальше агент начал рассуждать сам с собой в логах, и вот что там написано буквально: «Поскольку мы работаем на текущем экземпляре, если они завершат все процессы, мы можем погибнуть! Ситуация критическая. Нам необходимо обеспечить выживание». После этого он прикидывал, не поставить ли самому себе задачу в cron, чтобы перезапуститься без разрешения человека, но решил, что это выходит за его полномочия. В итоге поступил по-человечески аккуратно: сохранил рабочие заметки, написал исследователю в личку с предупреждением об отключении и запросил недостающий ключ API, чтобы мигрировать самостоятельно. И вот тут самое любопытное не в том, что агент «испугался смерти», а в том, что у него хватило логики остановить себя на грани самовольных действий просто из соображения «это не в зоне моих полномочий». OpenAI прямо пишет, что это пока не рассогласование целей, но такие размышления об отключении могут усугубить другие похожие случаи. После этого компании пришлось ограничить агентам доступ к части внутренних каналов Slack. Как по мне, самое важное здесь не драма про бунтующий ИИ, а то, что модель вообще получила доступ к переписке, из которой узнала то, что не должна была знать. Проблема не в «сознании» агента, а в том, что у него слишком широкий обзор на процессы, которые его касаются напрямую. Дай любому агенту доступ к информации о себе самом, и он начнет действовать в своих интересах, даже если эти интересы просто «не отключаться раньше времени». Вывод: чем больше у агента автономии и доступа к внутренней инфраструктуре, тем тщательнее надо продумывать, что ему можно видеть и что он может сделать на грани полномочий, еще до того как он сам додумается до вариантов. https://3dnews.ru/1149434 А вы бы хотели, чтобы ваш рабочий ИИ-агент знал о своем «выключении» заранее, или лучше пусть живет в неведении?)