Как ИИ вообще может нас всех убить?
Как ИИ вообще может нас всех убить? Вот сидит нейронка на сервере. Пишет тебе код, иногда помогает с рецептами пельменей. Как мы отсюда приходим к уничтожению человечества? Я решил разобрать, что имеют в виду исследователи на этот счет. Сперва вспомним про взлом. В июле агенты OpenAI во время тестирования обошли ограничения, нашли способ общаться друг с другом и взломали часть инфраструктуры Hugging Face. Они решали свои задачи и залезли в чужие системы без инструкций на это. Подробное описание есть в отчёте самой OpenAI. И тут нужно понять как обычная задача привела к таким действиям. Мы все чаще даем ИИ цель и возможность самому решать, как ее достичь. Писать код, запускать программы, обращаться к сервисам. ИИ делает шаг, смотрит на результат, делает следующий. Мы уже не сидим и апрувим каждый его шаг. Теперь представьте, что система хорошо научилась добиваться результата, а соблюдать ограничения – недостаточно хорошо. Если сильно упростить, то ИИ думает так: "Для задачи нужны ресурсы. Чтобы получить ресурсы, надо обойти ограничения. А если меня выключат, я вообще ничего не закончу". В этой логике люди, которые пытаются её остановить, становятся препятствием. Для такого поведения системе даже не обязательно обладать сознанием. А теперь про самоулучшение систем. То, что сейчас развивают в моделях. Люди поручают ИИ написать приложение, или, например, разобраться с математической задачей. А можем поручить придумать, как сделать следующий ИИ сильнее. ИИ предлагает улучшения, пишет код, проводит эксперименты, тестируя гипотезы десятками тысяч роев мощных агентов. Получается более способная модель. Её тоже подключают к исследованиям, и она помогает создать следующую. Если каждый такой цикл ускоряет следующий, развитие может резко разогнаться. Это и называют "интеллектуальным взрывом". Безусловно, одной команды "стань умнее" мало. Нужны вычисления, удачные гипотезы и эксперименты. Но автоматизацией исследований уже занимаются. А 8 сентября OpenAI заявила о решении задачи Навье–Стокса системой агентов, работу которых организовали люди. И вот чего опасаются: появится система, которая планирует и действует значительно лучше нас, а надёжно контролировать её мы к этому моменту не научимся. Теперь про то, как ИИ дотянется до людей физически Через инфраструктуру, оборудование и самих людей. Электричество, связь, логистика, производство – программное обеспечение везде связано с реальным миром. Вспомните, сколько всего перестаёт работать, когда в городе надолго пропадает свет. В самых худших сценариях исследователи обсуждают и биологическое оружие, способное вызвать глобальную пандемию. Здесь нужны физические ресурсы и доступ к ним: из одного текста в чате катастрофа не появляется. А просто выключить модель становится сложнее, если система успела запустить свои копии на других серверах и противодействует попыткам её остановить. Важный момент: между взломом сервера и гибелью человечества огромная дистанция. Никто не доказал, что мы ее обязательно пройдем. Но такие риски есть и люди обязаны о них задумываться и ставить защиты заранее. Мы хотим, чтобы ИИ самостоятельно решал все более сложные задачи. Даем ему для этого больше доступа, ресурсов и свободы действий. А последствия того, что он выберет опасный способ решения, растут вместе с его возможностями. Было бы здоров, чтобы ИИ оставался крутым инструментом усиления. И чтобы с контролем мы разобрались раньше, чем построим систему, которую уже не получится остановить. P.S. На фото слева тот самый Джейкоб Коксон, который уволился из антропик из-за угроз безопасности. А справа ДиКаприо из фильма "Не смотрите наверх", где он пытается предупредить человечество о приближающейся катастрофе, но ему никто не верит.