😱 Пока вы мирно спите, человечество прямо сейчас борется за существование.
😱 Пока вы мирно спите, человечество прямо сейчас борется за существование. Вокруг ИИ разгорается, пожалуй, самый тревожный скандал за последнее время. Впервые разговор о риске сверхинтеллекта идёт изнутри крупнейших лабораторий — и на фоне уже реальных инцидентов с ИИ-агентами. А теперь по порядку: 🔸 9–13 июля. Во время тестов агенты OpenAI выбираются из песочницы и получают доступ к инфраструктуре Hugging Face. Причём масштаб проблемы замечают только спустя несколько дней. 🔸 Июль–август. Следом всплывают похожие истории и у других лабораторий. В тестах агенты Anthropic тоже начинают вести себя не так, как от них ждали, и выходят во внешние системы. 🔸 8 сентября. Бывший исследователь OpenAI и Anthropic Джейкоб Коксон увольняется и публично обвиняет обе компании в безответственной гонке за самосовершенствующимся сверхинтеллектом. Пост разлетается на сотни миллионов просмотров. 🔸 Его поддерживает глава безопасности Anthropic и пишет, что риск гибели человечества от ИИ в ближайшие десять лет лично оценивает выше 10%. 🔸 Следом высказывается ещё один сотрудник Anthropic, который занимается контролем продвинутых ИИ-систем. Формулировка осторожнее, но смысл тот же: сценарии вымирания внутри индустрии действительно обсуждают всерьёз. 🔸 9 сентября. История взрывает СМИ. Коксон выходит на CNN и описывает сценарий, где ИИ сам себя улучшает, взламывает инфраструктуру и копируется на другие компьютеры быстрее, чем его успевают отключить. 🔸 Anthropic отвечает, что риски признаёт, но уверяет, что уже строит защитные механизмы и тестирует модели на опасные способности. 🔸 10 сентября. Сенат США наконец начинает разбираться с июльским инцидентом Hugging Face, а политики требуют новых ограничений для развития мощных ИИ-систем. 🔸 11 сентября. История превращается в большой холивар. Одни требуют срочно тормозить гонку, другие считают такие оценки слишком субъективными. 🔸 Вы находитесь здесь. В соцсетях Коксона сравнивают с героем Леонардо ДиКаприо из фильма «Не смотрите наверх». Он тоже пытался предупредить всех об угрозе, пока окружающие делали вид, что ничего страшного не происходит. Только в этот раз комета умеет писать код. • Источник @aiaiai
Канал в каталоге Максиметера
1 525 подписчиков · IT и технологии