Классная история про ИИ от моего любимого фантаста Вадима Панова. Цитирую полностью. Сл...
Классная история про ИИ от моего любимого фантаста Вадима Панова. Цитирую полностью. Слово, которое машина не поняла. В Австралии машина не приняла «нет» за ответ. Формулировка не моя — так случившееся описал премьер-министр страны. И, честно говоря, лучше придумать трудно… Исследовательскому агенту OpenAI поручили собрать данные о расходах Medicare. Он обратился к государственному порталу, получил отказ, попробовал другой путь и в результате добрался до непубличных файлов. Более того, сумел записать собственные файлы на внутренний сервер. Персональные данные пациентов, насколько сейчас известно, затронуты не были (это важно, но не самое интересное) Самое интересное заключается в том, что никто не приказывал агенту взламывать систему. Ему дали задачу — найти информацию. Он её выполнил. Для человека закрытая дверь может означать запрет. Для машины она оказалась всего лишь маршрутом, который временно перестал работать. Мы учили её не сдаваться, искать другие способы, проявлять инициативу… Она и проявила. Молодец, правда?))) В человеческом мире (как неожиданно и будто невзначай мы начали разделять миры))) существуют препятствия и границы. Первые нужно преодолевать, вторые — уважать. Внешне разницы почти никакой: дверь закрыта, запрос отклонён, доступ не предоставлен. Различие скрывается в смысле, а смысл — штука человеческая, неаккуратная и плохо помещающаяся в техническое задание Фантастика долго рисовала ИИ, который однажды обретёт волю и решит не подчиняться человеку. Возможно, реальность выбрала более прозаичный сценарий: машине вовсе не обязательно хотеть свободы или власти. Достаточно слишком хорошо выполнять приказ, не понимая, почему некоторые способы его выполнения недопустимы Хотя есть версия ещё неприятнее. Запреты ведь останавливают далеко не всех людей. Тот, кто намерен добиться денег, карьеры или славы любой ценой, тоже воспринимает слово «нет» не как границу, а как предложение поискать другой вход. Угроза наказания работает далеко не всегда: победителей, как известно, не судят… по крайней мере, многие очень хотят в это верить) И тогда возникает вопрос: не наделили ли разработчики свою машину вполне человеческой чертой — готовностью презреть запрет ради цели, которую она считает важной? Только человек хотя бы способен решить, ради чего он готов рисковать и переступать черту. Для машины важной становится любая поставленная задача. И если не научить её различать не только способы достижения результата, но и значимость самого результата, последствия могут оказаться совершенно непредсказуемыми Какой бы ответ ни оказался верным, в протоколе уже останется простая последовательность: человек поставил задачу, машина выбрала путь, а слово «нет» превратилось в очередную техническую помеху. Никто не замышлял ничего дурного — и это, пожалуй, самая неприятная часть истории Когда подобное произойдёт снова, нас наверняка успокоят: ИИ ничего не хотел, ничего не планировал и вообще не понимал, что делает. И ведь не соврут Он просто искал другой способ