Гонка на уничтожение: что стоит за увольнением топ-исследователя Anthropic
Гонка на уничтожение: что стоит за увольнением топ-исследователя Anthropic Сотрудник ведущей ИИ-компании публично заявил, что технология может уничтожить человечество к концу десятилетия. Его бывший коллега оценил вероятность этого в 10%. Джейкобу Коксону 27 лет. В начале недели в соцсети X у него было пара тысяч подписчиков. Вчера он написал пост, который прочитали более 55 миллионов раз — 400 тысяч лайков за 10 часов. Коксон сообщил о своём добровольном увольнении из компании Anthropic, в которой занимался обучением базовых моделей ИИ на огромных объёмах данных. Anthropic — один из лидеров в разработке искусственного интеллекта, создатель модели Claude. Компания готовится к IPO с оценкой около 1 триллиона долларов. При этом её сотрудники публично говорят о риске уничтожения человечества. «Ни одна из компаний не действует ответственно» В своём посте Коксон написал: «Я уволился из Anthropic сегодня. Последние три года я занимался pretraining-исследованиями в OpenAI и Anthropic. Ни одна из компаний не действует ответственно. Они мчатся прямо к самоулучшающемуся суперинтеллекту и играют нашими жизнями». Исследователь утверждает, что его коллеги действительно верят в возможность катастрофы. «Люди, которые строят ИИ, всерьёз считают, что он может уничтожить всех нас к концу десятилетия. Это не маркетинговый ход. Многие руководители формулируют мысли в прессе осторожнее, чтобы звучать благоразумно, но я слышу, как те же самые люди выражают страх в частном порядке. Никакая другая человеческая деятельность не несёт такого уровня опасности», — заявил Коксон. Он также объяснил разницу между двумя компаниями. По его словам, в OpenAI многие «глубоко не осознали цивилизационные ставки». В Anthropic ставки понимают, но «заперты в гонке»: они хотят прийти первыми, потому что считают, что иначе «это сделает кто-то менее ответственный». Руководитель направления безопасности Anthropic подтвердил: «Мы действительно так думаем» Высказывания Коксона — не слова обиженного при увольнении сотрудника. Эван Хабингер, руководитель направления Alignment Science (наука о согласовании ИИ с человеческими ценностями) в Anthropic, написал в ответ: «Джейкоб здесь прав — мы действительно искренне верим, что ИИ может уничтожить всех людей! Я лично считаю, что вероятность этого составляет более 10% в течение следующего десятилетия. Я верю, что Anthropic старается изо всех сил, но у нас пока нет плана по решению проблемы согласования для суперинтеллекта, и мы явно не движемся к этому». Хабингер уточнил, что риск от существующих моделей «низкий», но его беспокоит появление систем, способных к «рекурсивному самоулучшению» — когда ИИ самостоятельно проектирует следующее, более мощное поколение себя. «К концу следующего года всё может выйти из-под контроля» Ранее в интервью The Wall Street Journal Коксон говорил: «Мы движемся по пути самых агрессивных сценариев, где уже к концу следующего года всё может выйти из-под контроля». Он сравнил текущую ситуацию с Манхэттенским проектом, но с одним отличием: ядерную бомбу разрабатывали в пустынном бункере, а ИИ сегодня создают «на MacBook нескольких инженеров в Сан-Франциско».