Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают
Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают Агентам на базе больших языковых моделей (LLM) всё чаще открывают доступ к почте, базам данных и платёжным системам. Для атаки на такого помощника не всегда нужен привычный взлом: достаточно подсунуть текст, который модель примет за команду и выполнит. Такой обход ограничений называют джейлбрейком. Спрятанные команды уже несколько раз использовали для кражи данных через корпоративных ассистентов. Готовая guard-модель — отдельная модель для распознавания и блокировки опасных запросов — кажется простым решением. На английском такая защита, вероятно, сработает. Но на русском, как описано в разборе Just AI, она может блокировать слишком много обычных запросов и при этом пропускать реальные атаки. Исследователи Just AI разрабатывают guardrails — защитные механизмы для LLM-приложений и агентов. Команда исследований и разработки представила свои эксперименты в статье об обучении детектора джейлбрейков для русскоязычных AI-агентов на Хабре. Эксперименты показывают, почему обучить модель один раз недостаточно, особенно если изначально её готовили для другого языка. Атаки меняются: тестовый набор годичной давности проверяет защиту от атак годичной давности. Данные для обучения и проверки нужно постоянно обновлять. Подходящих русскоязычных датасетов — наборов данных для обучения и проверки моделей — почти нет. Поэтому Just AI сейчас собирает актуальные примеры через игру в духе Gandalf. На каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Участвовать может каждый; успешные обходы войдут в публичный датасет на Hugging Face. Материалы: — https://habr.com/ru/companies/just_ai/articles/1084804/ — http://justgandalf.ru/ Источник: https://t.me/data_secrets/10184 #RealVibe #AI #AI_Инструменты