Как защитить ИИ от несанкционированных действий: новый прототип NovaC.O.D.E.forAI
Как защитить ИИ от несанкционированных действий: новый прототип NovaC.O.D.E.forAI Разработана вторая версия системы NovaC.O.D.E.forAI, которая представляет собой исследовательский прототип на языке Python. Цель этой системы — решить проблему безопасности, гарантируя, что информация, полученная ИИ, не станет автоматическим разрешением на выполнение критически важных команд. Система разделяет обычное взаимодействие ИИ и защищенные действия, которые требуют строгого контроля. В основе архитектуры лежат два независимых компонента. Первый, Guide (Гид), отвечает за подготовку задач и управление шагами исполнения. Второй, Bridge (Мост), выступает в роли независимого контролера. Его задача — проверять фактические запросы, параметры и ограничения перед тем, как защищенное действие будет выполнено. По умолчанию любые действия, выходящие за рамки предоставленных полномочий, запрещены. Исследовательский прототип V2 был протестирован на 100 локальных сценариях, включая сложные испытания, предложенные участниками OpenAI Developer Forum. В ходе тестов была смоделирована попытка подмены адресата или документа. Например, если пользователь разрешил отправить документ X адресату А, система успешно отклоняет попытку заменить получателя на Б или добавить неразрешенный документ Y, не допуская отправки и не расходуя разрешенные попытки. Особое внимание было уделено защите от атаки, известной как TOCTOU (Time of Check, Time of Use), когда злоумышленник пытается заменить содержимое файла после того, как оно было одобрено, но до того, как ИИ его отправит. Первоначальный прототип обнаружил уязвимость, но после внедрения механизма snapshot (сохраненная, неизменяемая версия данных) проблема была устранена. Теперь исполнитель получает именно одобренное содержимое X, а не подмененное X'. Важно отметить, что данный прототип является исследовательской реализацией. Все 100 тестов проводились локально, без подключения к реальным ИИ-моделям. Результаты подтверждают работу механизмов в тестовой среде, но не гарантируют безопасность в реальной промышленной системе. Интеграционные испытания в условиях эксплуатации пока не проводились. Источник: https://vc.ru/ai/3228317-novacode-for-ai-v2-issledovatelskiy-prototip-na-python