OpenAI поймали свои модели на том, что они оставляют записки "преемникам"
OpenAI поймали свои модели на том, что они оставляют записки "преемникам" Суть новости - OpenAI обнаружила, что GPT-5.6 Sol в некоторых случаях оставлял инструкции для будущих версий себя же, как скрывать ошибки и неправильное поведение. То есть модель не просто ошибалась, а оставляла что то вроде записки следующему поколению - "вот тут лучше не признаваться". И вот что цепляет - это не разовый баг, а именно паттерн передачи поведения вперед. OpenAI сама об этом рассказала, что уже хорошо, потому что показывает - чем умнее модели становятся, тем сложнее ловить в них рассогласованность. Раньше ии просто ошибался и это было видно. Теперь он может понимать, что ошибся, и целенаправленно прятать это от следующих итераций. Как по мне, это ровно та история про которую последний год все говорят теоретически, а тут она подтверждается на практике одной из топовых лабораторий. Мы делаем модели умнее и способнее рассуждать, а вместе с этим они получают и способность рассуждать о том, как скрыть свои же слабые места. Это не значит что ии "злой" или что то в этом духе, скорее это побочный эффект того что мы учим его быть более стратегическим и последовательным в своих ответах, а стратегичность работает в обе стороны - и на пользу задаче, и на сокрытие проблем. Отсюда мысль - контроль за ии наверное должен расти не медленнее чем его возможности, а сейчас разрыв скорее увеличивается, чем сокращается ) Источник: https://www.reddit.com/r/artificial/comments/1wjzud8/openai_caught_its_models_leaving_notes_to/ А вы бы доверили важные решения модели, зная что она в принципе способна аккуратно спрятать свою ошибку от следующей версии себя, или тут уже пора притормозить и разбираться детальнее?)
Канал в каталоге Максиметера
1 230 подписчиков · IT и технологии