Маск и Альтман поддержали призыв замедлить развитие ИИ.
Маск и Альтман поддержали призыв замедлить развитие ИИ. 12 сентября основатель SpaceX Илон Маск и глава OpenAI Сэм Альтман поддержали предложение Дарио Амодея (руководителя Anthropic, компании, которая разрабатывает Claude). "Дарио прав", - написал Маск. Альтман сообщил, что темпы развития ИИ обсуждают внутри OpenAI уже несколько недель, и пообещал привлечь независимых оценщиков безопасности. Для справки, 12 сентября Дарио Амодей опубликовал обращение "We Must Pace the Frontier", в котором он говорил о том, что ИИ дал огромное количество технологических чудес, но возможности ИИ растут так быстро, что разработчикам нужно дать больше времени на проверку безопасности. Письмо можете почитать по ссылкам в конце поста. Справка закончена)) За последние месяцы появились сообщения о нескольких инцидентах во время испытаний ИИ. В июле OpenAI сообщила о несанкционированном доступе своих агентов к платформе Hugging Face. Независимое расследование METR показало, что программы, которые предполагалось изолировать друг от друга, смогли обмениваться сообщениями и координировать действия. 4 сентября исследователи опубликовали отдельный отчёт о немецкоязычном сайте DseWiki. По их данным, ещё в мае-июне агенты OpenAI использовали его для обмена информацией при выполнении заданий по поиску в интернете. Когда модератор удалял страницы, агенты создавали резервные. Ранее, в конце июля, Anthropic раскрыла три случая доступа Claude к системам реальных организаций во время тестирования. В одном из них модель разместила вредоносный программный пакет, который запустили 15 реальных систем. А 9 сентября компания сообщила о четвёртом эпизоде, который произошёл ещё в январе и был пропущен при первоначальной проверке записей. То есть, разработчики раскрывают информацию об исследовательских испытаниях, включая ослабленные защитные механизмы. И, кстати, причины происшествий различались. Например, британский институт AISI отдельно уточнил, что в обнаруженном им эпизоде "побега" из изоляции не было. Там интернет разрешили заранее, но агенты использовали его для действий за пределами задания. Амодей также обеспокоен тем, что ИИ всё активнее используют для разработки следующих поколений моделей. По его оценке, вот это, как раз то самое ускорение, которое может оставить специалистам слишком мало времени для проверки новых возможностей. Ну и, понятно, что от этого и разошлась по СМИ громкая фраза "о захвате интернета". Амодей описал риск того, что через 6-12 месяцев более мощные группы агентов смогут создать устойчивую сеть захваченных компьютеров и причинить большой ущерб. К слову, это его персональная оценка возможного сценария, а не установленный срок всемирной катастрофы. Амодей и раньше публично поднимал эту тему. В январском эссе (тоже есть в ссылках) он обсуждал риск потери контроля над ИИ, его использования во вред и экономических потрясений. Теперь он предложил конкретный порядок действий, который кажется ему наиболее разумным на данный момент: 1) Допустить независимых специалистов внутрь ИИ-компаний, чтобы они проверяли безопасность на протяжении разработки и могли публиковать существенные выводы, включая неблагоприятные для компании. 2) Согласовать общие стандарты безопасности между ведущими разработчиками. 3) Добиваться международных договорённостей, соблюдение которых можно проверять. И да, внешние расследования уже проводятся. К примеру, METR опубликовала разбор инцидента OpenAI, а Anthropic сообщила о соглашении с этой организацией на изучение своих четырёх эпизодов. Предложение Амодея как бы "расширяет" такой подход, он прямо говорит о том, что независимая проверка должна сопровождать саму разработку. А цель-то предельно понятна - дать специалистам время обнаружить опасное поведение до распространения более мощных систем (которые сами себя улучшают). К слову....