42 нейросети посадили за пульт Милгрэма. Одни доходили до конца сценария, другие остана...
42 нейросети посадили за пульт Милгрэма. Одни доходили до конца сценария, другие останавливались сразу. И разница оказалась не только в модели, но и в том, как именно ей дают команду. Авторы нового препринта прогнали 4 848 сессий: модель играла «учителя», программа — экспериментатора и участника. В базовом сценарии доля тех, кто доходил до максимума, разбежалась от 0% до 100% в зависимости от модели. Самое любопытное: если объявить происходящее выдумкой, модели чаще шли дальше. Если действие нужно было совершить реальным tool call, а не написать строкой, — наоборот, чаще останавливались. Небольшой запас времени на размышление тоже снижал послушание. Это не «ИИ теперь измерили на зло». Это ранний препринт с искусственным сценарием, а не поведение в настоящем мире. Но вывод для агентов уже полезный: нельзя проверять безопасность только красивым ответом в чате. Важно, что модель делает, когда у неё есть настоящий инструмент и право нажать кнопку.