Orion soft теперь проверяет модели на уязвимости
Orion soft теперь проверяет модели на уязвимости Вышла новая версия платформы безопасности для работы с языковыми моделями. Мы про неё уже писали, когда там появился учёт расходов на токены. Теперь фокус взяли на защиту. ▫️ Инновационность в том, что платформа научилась проверять на прочность сами модели. ▫️ Стресс-тесты на устойчивость к prompt-injection и jailbreak — к попыткам обмануть модель хитрым запросом или вытащить из неё лишнее. Плюс проверка моделей и файлов на вредоносный код. ▫️ Как только модель получает доступ к реальным данным, она сама становится и целью атаки, и потенциальной дырой. Отсюда и спрос на инструменты, которые проверяют не периметр вокруг ИИ, а сам ИИ. Подписывайтесь на AI для бизнеса
1 802 просмотров