СТРАЖ-ПТИЦА
СТРАЖ-ПТИЦА (или "ужжжасы" нашего городка) Много вопросов на одну и ту же тему. Я решила ответить постом, т.к. Шекли (наряду со Станиславом Лемом) и мои любимые писатели фантасты. Страж-птица - фантастический рассказ-притча Роберта Шекли, написанный им в 1953 году. Притча иллюстрирует «то, что можно было бы назвать „кибернетическим недомыслием“, возникающим из того, что всю власть над определённой областью явлений неосмотрительно доверили логическим машинам». Реально там весь холивар вокруг следующего сюжета : "Человечество решило прекратить все убийства с помощью неуправляемых самообучающихся летающих роботов: страж-птиц. Птицы должны защищать от любого посягательства на жизнь. Однако в процессе эксплуатации выясняется, что в процессе самообучения птицы расширили понятие «убийство» и стали считать посягательством на жизнь также и рыбную ловлю, и уничтожение насекомых, и хирургические операции. Позже птицы решили, что механизмы - тоже живые существа, поэтому выключение зажигания у машины - убийство. Земле грозили голод и вымирание: страж-птицы не позволяли пахать землю, рвать траву и собирать урожай. Разработчики создали «Ястребов» - неуправляемые самообучающиеся летающие машины для убийства страж-птиц. И вот Ястребы в процессе аналогичного самообучения открывают, что кроме страж-птиц «есть и другие живые существа, которых тоже надо убивать»… Ну и сегодня буквально на каждой лекции в каждой студии в разных странах задается один и тот же вопрос: - Самообучающийся Искусственный Интеллект! А где у нас гарантия, что ваши агроботы как страж-птицы у Шекли не выйдут из повиновения? Мозги Cognitive Pilot же всё время учатся!... Ну сначала хочу снять шляпу перед Робертом Шекли. За 70 лет до реального промышленного возникновения так похоже описать обучение искусственных нейронных сетей в "облаке" - это круто до гениальности. Вот казалось бы Шекли писал для журналов, такая лёгкая развлекательная фантастика, а гениальные догадки и вошел в мировую историю. Вопрошающим отвечаю: - Ключевая фраза рассказа: "Машины прекрасны и помогают людям. Но они не должны быть нашими судьями и наставниками" (с) Любое приблизительное ТЗ ведет к катастрофе. Представьте себе, что инженер строит мост по приблизительным расчетам. Или ядерщики производят бомбу исходя из приблизительных формул расщепления атома... С ИИ также - если вы начнете вводить в ТЗ на создание АПК с ИИ нечеткие определения, типа "убей всех убийц", то и выйдет чепуха. Нормальная работа требует предельно четких метрик и соответствующего выходного контроля. Ситуация описанная Шекли на современном производстве Cognitive невозможна. - Мы создаем антропоморфные системы. А все системы у человека (и у Cognitive Pilot соответственно по образу и подобию) действуют по принципу: Контекст-объект-действие. То есть, вы знаете, что огонь жжется и обойдете костер, хотя прямо идти было бы быстрее. За выполнение команд и действий в системах ИИ отвечают программные фильтры, которое для не разрушения устройства занимаются допустимостью контроля образцов. Таким образом, переход в иную от заданной функциональность невозможен просто по структуре программных систем. У птиц это был конструктивный баг - не было фильтра допустимости комбинаций действий при котором новый контур должен был согласовать человек. Но Шекли имел права всего этого не знать. Мы с ним разминулись на какие-то 70 годков... В моих книгах все есть. Книжки здесь.
Канал в каталоге Максиметера
15 238 подписчиков · IT и технологии