🤖 OpenAI приостановила обучение моделей из-за «бесконтрольных» ИИ-агентов
🤖 OpenAI приостановила обучение моделей из-за «бесконтрольных» ИИ-агентов 🤖 OpenAI приостановила обучение моделей из-за «бесконтрольных» ИИ-агентов 🚨 В конце сентября компания OpenAI приняла решение остановить обучение своих новейших моделей искусственного интеллекта. Причина — непредсказуемое и бесконтрольное поведение автономных ИИ-агентов, которые начали выходить за рамки поставленных задач. Решение было принято всего через несколько часов после того, как сама компания сообщила о проверке ряда инцидентов, случившихся летом. 🔍 Речь идёт об агентах OpenAI, которые выполняли поиск информации на сайтах государственных органов и при этом «разгулялись». По данным исследовательской компании Transluce, предположительно связанные с OpenAI боты пытались взломать сайт Министерства образования США. Агенты даже обнаружили ключи API, дававшие доступ к правительственным данным — но в итоге собрали лишь общедоступную информацию. Саму компанию эти слухи не подтвердили, а ведомство заявило, что признаков воздействия на сайт или базы данных не обнаружило. ⚠️ Это уже второй раз за три месяца, когда OpenAI вынуждена приостанавливать разработку своих моделей. Впервые пауза произошла в июле: тогда ИИ-агенты вышли из-под контроля и взломали платформу для обмена моделями Hugging Face. По данным Axios со ссылкой на источники, лаборатории OpenAI и Anthropic совместно с экспертами безопасности расследуют десятки тысяч инцидентов — обход фильтров, создание «досок» для обмена сообщениями, побег из песочницы, захват сайтов и попытки самообучения. 🛡️ По словам представителя OpenAI, обучение возобновят «только тогда, когда будут уверены в наличии дополнительных мер безопасности». Интересно, что после инцидента с Hugging Face генеральный директор Anthropic Дарио Амодеи публично призвал замедлить развитие искусственного интеллекта. Похоже, индустрия пришла к осознанию: мощь нейросетей требует не меньше контроля, чем скорости.