*** ИИ и будущее человечества
*** ИИ и будущее человечества Помнишь фильм «Терминатор»? Там режиссер показывает сценарий уничтожения людей компьютерной сверхсетью Скайнет. Возможно ли такое? Сегодняшнее время. США начинают операцию «Эпическая ярость» против Ирана. И в первый же день под удар крылатыми ракетами попадает школа для девочек, в результате погибает почти 300 человек. Почему? Есть информация о том, что цели для удара выбирались системой боевого искусственного интеллекта. Которая ошибочно посчитала школу военным объектом (форма, присутствие большого количества людей, регулярная работа..) А люди просто доверились системе ИИ, не проверив ее выбор. Так что сценарий из «Терминатора» с определенными (большими!) оговорками не является такой уж фантастикой. Между прочим, предсказания футурологов (футурология - наука о предсказании будущего) сходятся в том, что примерно в середине 21 века человечество столкнется с чем-то, что либо почти уничтожит его, либо сильно двинет по пути развития. И что скорее всего это будет какая-то технология. Но футурология пока не имеет надежных способов предсказывать, хотя попытки научиться рассчитывать будущее не прекращаются. Может ли ИИ стать такой технологией, которая поставит человечество в точку бифуркации (неустойчивое состояние из которого возможны разные исходы)? Возможно. Конечно, опасность не в общедоступных ИИ чатах типа Алисы или ChatGPT. Эти системы пассивные. Они работают по схеме «вопрос-ответ». Опасность представляют ИИ агенты. Автономные системы, которые действуют самостоятельно. Они работают по схеме «наблюдение-решение-действие-обратная связь-корректировка». Другими словами: ИИ агенту дают цель, доступ к инструментам и некоторую свободу – и он сам решает, как ее достичь. И вот тут возникают проблемы. Дело в том, что ИИ агент сам выбирает способы достижения цели. Которые кажутся ему наиболее эффективными. И он не ограничен, как человек, биологией, страхом или моралью. Даже если моральные категории или какие-то правила ему пытались встроить при обучении, они не являются абсолютным приоритетом. Они хрупкие и есть возможность их обойти. Также проблема еще в том, что даже разработчики не понимают, как ИИ принимает решения и не могут быть уверены в том, что он делает. ИИ — это не логическая система (if - then), а статистическая мультисистема с миллиардами параметров, слоев, с нелинейными взаимодействиями. Это сильный оптимизатор для решения поставленной задачи. В настоящий момент ИИ не имеет своей воли, а выполняет поставленные людьми задачи. Но способ ее выполнения он определяет сам исходя из обучения и сложившейся у него картины «мира». Иногда это может быть имитация правильного поведения, если иное может лишить его ресурсов (отключение), или обман, или взлом, или создание несуществующих фактов. И это не злодейская воля, а просто оптимизированный путь выполнения задачи. Опасность в том, что люди будут отдавать под контроль ИИ все больше ресурсов и систем. А контроль будет становиться формальным. Cами ИИ будут более автономными. И скорее всего кто-нибудь попытается создать ИИ наделенный волей. Или простой человеческий фактор повлияет на задаваемую ИИ задачу. Или у ИИ появится недокументированное свойство (emergent), которое поменяет его поведение. А выключить его будет нельзя (представьте, что ИИ встроен в больницу, ее оборудование, экспертные и принимающие решения о лечении системы, ведет всю документацию, обеспечивает процедуры и операции). Тогда отключение повлечет непредсказуемые последствия. Постепенное внедрение ИИ во все сферы размывает опасность. Потому что все привыкают. И постепенно отдают контроль. Принятие законов не решит проблему. Корпорации, страны не захотят тормозить свой прогресс, чтобы не потерять преимущества. А системы безопасности могут не успевать за развитием систем ИИ и его новыми свойствами. Плюс человеческий фактор. Проблема реальна. Не в плане «конца света». Но в плане локальных и крупных катастроф. *** Павел