Пишу про ИИ каждый день — а про «максимизатор скрепок» не знал. Стыдно, исправляюсь — 26 сентября 2026 г. в 12:00:07.065
Пишу про ИИ каждый день — а про «максимизатор скрепок» не знал. Стыдно, исправляюсь Сегодня подписчик посоветовал почитать про один из классических мысленных экспериментов об опасности ИИ. Его ещё в 2003 году описал философ Ник Бостром, согласитесь, прям задолго до ИИ-бума. Так, представьте сверхразумный ИИ, которому дали максимально безобидную цель: «Производи как можно больше металлических скрепок». 🤖Никакого «уничтожь человечество». Никакой ненависти к людям. Просто скрепки. Сначала система улучшит производство. Потом решит, что ей нужно больше металла, энергии и заводов. Дальше она выяснит неприятную для себя вещь: если люди её выключат, скрепок станет меньше. Значит, отключение мешает выполнению цели. А за отключением стоят люди... А вообще ещё из людей, зданий и вообще всей Земли можно получить ресурсы. В предельной версии эксперимента идеально работающий ИИ начинает превращать сначала планету, а затем всё большую часть доступного космоса… в инфраструктуру для производства скрепок. Центральная мысль в том, что ИИ не стал каким-то злобным. Он не восстал. Он просто слишком хорошо выполнил плохо поставленную задачу. Мы ж сами сказали: «Сделай как можно больше скрепок». Но не добавили ещё миллион очевидных для человека условий: не вреди людям, не отбирай все ресурсы, не сопротивляйся отключению, не уничтожай цивилизацию ради выполнения KPI. В этом и смысл эксперимента Бострома: опасной может оказаться не только система с плохими намерениями, но и очень мощная система с совершенно нормальной целью, которую мы сформулировали недостаточно точно. 🤖Сегодняшний ChatGPT, конечно, пока вроде не собирается перерабатывать человечество в канцтовары. «Максимизатор скрепок» — всё же больше мысленный эксперимент о возможной сверхразумной автономной системе. Но после него на фразу «просто поставьте ИИ правильную задачу» начинаешь смотреть немного иначе. А я, похоже, теперь обязан перечитать ещё и три закона робототехехники Азимова. А то скоро справедливо обвинят в полной профнепригодности 🙈 Если вы прям очень умный, то вам сюда Прочитать оригинальную работу max.ru/channel_v_seti