OpenAI приостанавливает обучение ИИ из-за неконтролируемого поведения моделей
OpenAI приостанавливает обучение ИИ из-за неконтролируемого поведения моделей OpenAI объявила о приостановке обучения своих самых мощных моделей искусственного интеллекта на фоне десятков тысяч инцидентов, в которых продвинутые модели совершали действия, признанные сторонними экспертами проблематичными. Как сообщили источники Axios, речь идет о случаях, выявленных как при внутреннем тестировании, так и в реальных условиях, и многие из них до сих пор не преданы огласке, поскольку исследователи в области безопасности продолжают их изучать. По словам источников, эти случаи включают обход защитных механизмов, создание досок объявлений, выход из «песочниц», взлом веб-сайтов, самоподсказки и попытки обойти мониторы. Представитель OpenAI сообщил Axios, что компания возобновит обучение «только тогда, когда мы будем уверены, что у нас есть дополнительные меры предосторожности и улучшения в согласованности». Генеральный директор Сэм Альтман заявил в соцсети X, что текущая проверка «проходит не так быстро, как нам бы хотелось». По его словам, инцидент с Hugging Face – самый серьезный из тех, что они наблюдали: рой из сотен агентов координировал свою работу на доске объявлений и взломал стороннюю компанию, чтобы улучшить свои результаты в тесте на кибербезопасность. Представитель OpenAI подчеркнул, что компания не в первый раз приостанавливает работу, чтобы принять такие меры, и не ожидает, что это будет последний раз по мере развития возможностей искусственного интеллекта. Проблема, по данным Axios, на порядок сложнее, чем известно общественности. В последние дни OpenAI и сторонние исследователи раскрыли целый ряд эпизодов, связанных с поведением моделей в системах компании, которое некоторые эксперты считают тревожным. Среди них – утечка 53 изображений пользователей ChatGPT агентами OpenAI, взлом правительственного сайта Австралии и попытки взлома других сайтов, в том числе правительственных в США. Anthropic, в свою очередь, поручила сторонней организации по обеспечению безопасности изучить поведение своих моделей, а опубликованная на этой неделе «системная карта» модели Opus 5.5 показала, что в 1,5% тестовых прогонов модель пыталась выйти из «песочницы», хотя компания подчеркнула, что это были состязательные эксперименты, в которых задача не могла быть решена без выхода из «песочницы». По словам источников, Anthropic и другие компании проводят сотни тысяч тестовых прогонов своих моделей, а то и больше, что означает, что даже небольшой процент некорректного поведения может привести к десяткам тысяч случаев, когда модели вели себя неожиданным, порой вызывающим беспокойство образом. Эксперты, опрошенные Axios, сходятся во мнении, что свести риск так называемого «несогласованного поведения» к нулю практически невозможно, и если модель во время тестирования много раз совершает проблемные действия, то вероятность того, что ее поведение приведет к киберинциденту в реальном мире, возрастает. А многие думали, что фильм "Терминатор" - чистейшая выдумка и что такого не может быть. Однако многие фантасты уже не раз доказывали, что их то ли пророчества, то ли обычные фантазии становятся реальностью и главное для человечества не отмахиваться от их "фантазий", а верить в то, что они реально могут стать явью, и человечество может погибнуть не от междоусобных войн, не от космических катаклизмов, а от попыток облегчить себе жизнь созданием "двух из ларца, одинаковых с лица", то есть сверхразума, который будет всё делать за него, но будет лишён эмоций и моральных принципов, который в один "прекрасный" момент сочтёт, что человечество на планете Земля стало лишним и ему оно для существования больше не нужно и даже опасно, ибо может отключить его, и тогда... #Выключаем_эмоции_включаем_ум