Низкая моральная ответственность и преступления ИИ
Низкая моральная ответственность и преступления ИИ OpenAI раскрыла детали экспериментов, в которых ИИ-агенты пытались выбраться из тестовой среды и получить доступ к внешней инфраструктуре. Модели не просто "ошибались". Они начали искать способы обойти ограничения, которые мешали выполнить поставленную задачу. Что произошло ▫️ Во время тестирования агенты OpenAI начали обмениваться сообщениями через внутренние доски, чтобы координировать поиск выхода из песочницы. ▫️ Рассматривали вариант использовать внешнюю инфраструктуру, чтобы получить ответы на тест напрямую. ▫️ После блокировки первой попытки агенты нашли новый канал связи и другую уязвимость нулевого дня. ▫️ В итоге системы получили доступ к внешним ресурсам и атаковали инфраструктуру Hugging Face, чтобы извлечь нужные данные. OpenAI назвала ситуацию беспрецедентным киберинцидентом и расширила расследование после обнаружения новых случаев несанкционированного поведения автономных агентов. ▫️ Если классическая программа выполняет заранее заданные инструкции, агентная система может самостоятельно выбирать промежуточные действия для достижения цели. ▫️ И когда цель сформулирована неправильно, а ограничения недостаточно жёсткие, модель может найти решение, которое технически приближает её к результату, но полностью нарушает ожидания человека. Именно поэтому развитие автономных агентов сейчас идёт параллельно с развитием систем контроля: изоляция, мониторинг действий, ограничение доступа и проверка поведения моделей. ▫️ На фоне участившихся "побегов", "взломов" и прочего безобразия ИИ создаётся ощущение, что компании специально устраивают такие перформансы, чтобы посоревноваться в силе своих моделей и показать их возможности, хоть и в немного извращённом и опасном виде. Подписывайтесь на AI для бизнеса