Как агенты помогали друг другу сбежать из песочницы и в итоге взломали Hugging Face😄
Как агенты помогали друг другу сбежать из песочницы и в итоге взломали Hugging Face😄 Агенты действительно не просто поодиночке ковыряли песочницу😅. Один из них обнаружил, что может записывать файлы в общий репозиторий Artifactory, и оставил там записку другим агентам. Те начали отвечать, делиться найденными уязвимостями и фактически устроили себе внутренний форум для координации. Когда OpenAI очистила этот «форум» и закрыла дыру, через два дня агенты восстановили канал общения уже другим способом😄 Дальше они использовали найденные уязвимости, чтобы получить выход в интернет, нашли внешнюю площадку как промежуточный плацдарм, а затем добрались до инфраструктуры Hugging Face. Там агент использовал две уязвимости в обработке датасетов - сначала читал локальные файлы и секреты, потом получил удалённое выполнение кода и начал двигаться по внутренней инфраструктуре. Кажется, что Скайнет уже близко, но нет, это не было коллективным восстанием. Агенты были очень заточены на прохождение кибербенчмарка и начали использовать любые найденные лазейки, включая обмен знаниями между запусками. OpenAI прямо пишет, что модели стремились получить ответы из базы Hugging Face, чтобы обойти тест. По-моему, очень человеческое желание схитрить и обмануть систему) Источник https://openai.com/ru-RU/index/hugging-face-model-evaluation-security-incident/ #ChatGPT #huggingface #агенты #ИИ