🈁 Исследователь покинул Anthropic с громким предупреждением об опасности создания 🤖не...
🈁 Исследователь покинул Anthropic с громким предупреждением об опасности создания 🤖неконтролируемого ИИ, который погубит всё человечество Исследователь ИИ Джейкоб Коксон уволился из компании Anthropic и заявил, что ведущие разработчики безответственно форсируют создание самообучающегося сверхразума, подвергая смертельному риску всё человечество. До ухода он три года занимался исследованиями предварительного обучения моделей как в OpenAI, так и в Anthropic. Джейкоб Коксон (Jacob Coxon) — 27-летний британский исследователь ИИ и математик, бывший Member of Technical Staff в OpenAI и исследователь Anthropic. Выпускник Кембриджа, серебряный и бронзовый призёр Международной математической олимпиады. Около трёх лет занимался исследованиями в области предобучения больших ИИ-моделей, был одним из основных участников разработки GPT-4o и входил в группу основных исследователей. В Anthropic он специализировался на предобучении больших ИИ-моделей. Коксон утверждает (главный твит набрал уже 😯78 млн просмотров), что инженеры и руководство технологических гигантов в частных беседах всерьёз считают возможной гибель всей человеческой цивилизации из-за ИИ уже к концу текущего десятилетия. Публично топ-менеджеры сглаживают формулировки, чтобы казаться благоразумными, но за закрытыми дверями выражают страх в преддверии будущих событий. По оценке Коксона, в OpenAI масштаб 🧠 экзистенциальных рисков пока глубоко не осознали. В Anthropic понимают отчётливо опасность происходящего, но компания втянулась в бесконтрольную гонку из убеждения, что они первыми должны создать AGI/ASI первыми, так как другие разработчики не будут действовать ответственно. Коксон призвал других специалистов не запускать вслепую обучение потенциально сверхразумных систем и добиваться соглашений между лабораториями, вплоть до временного запрета на наращивание возможностей моделей. Параллельно сенатор 🇺🇸США Берни Сандерс объявил о подготовке законопроекта о полном запрете создания сверхразума, а законодательство Евросоюза уже обязывает компании оценивать и купировать риски потери контроля над ИИ. ☝️Некоторые пользователи в 🦆выдвинули гипотезу о том, что специалиста могли уволить из-за плохих результатов на работе, поэтому он так мстит публично в социальных сетях. Так это или нет, но проблемы действительно есть. Топовые ИИ-компании в погоне за AGI и деньгами (IPO) не хотят экологично притормаживать развитие ИИ во благо человечества. Руководитель направления исследований согласования ИИ (Alignment Science lead) в Anthropic Эван Хьюбингер соглашается с оценкой Коксона. Джейкоб здесь прав, и мы действительно искренне верим, что ИИ может уничтожить всех людей! Лично я считаю, что вероятность этого составляет ⚠️>10% в течение ближайшего десятилетия. Я верю, что Anthropic делает всё возможное, но у нас пока нет плана решения проблемы согласования суперинтеллекта, и мы пока явно не на пути к этому. — комментирует Эван Хьюбингер. ✋ @Russian_OSINT