12 рекомендаций FSB по внедрению ИИ
12 рекомендаций FSB по внедрению ИИ Совет по финансовой стабильности (FSB) 15 октября выпустил набор практик, как в фин. секторе внедрять ИИ. Разумно управляя риском, при этом. Практики разделены на две группы: Организационные (Практики 1–4): кто управляет и кто отвечает: 1. Стратегия и надзор. ИИ увязан с бизнес-моделью и аппетитом к риску. Смотрит совет директоров 2. Роли. Три линии защиты и кросс-функциональный комитет 3. Риски ИИ внутри ERM. Документирован весь жизненный цикл, вплоть до промптов и ID агентов 4. Адаптивность. Учить людей и руководство. Ходить в отраслевые песочницы Управление жизненным циклом ИИ (Практики 5–12). От идеи до эксплуатации: 5. Оценка рисков. Присущий и остаточный риск кейса — на этапе идеи и ещё раз при масштабировании. 6. Выбор технологии. Своё, open-source или вендор. Под задачу, а не под моду. 7. Данные. Качество, репрезентативность, конфиденциальность, законность. 8. Объяснимость. Логика понятна контролёру и клиенту. Для «чёрных ящиков» — компенсирующие контроли. 9. Мониторинг. Точность, дрейф моделей и данных, состязательное тестирование. 10. Человек в контуре. Борьба с automation bias, сохранение компетенций, ручной перехват. 11. ИБ. Prompt injection, jailbreak, poisoning. Защита инфраструктуры и API. 12. Третьи стороны. Цепочка поставок ИИ, встроенный ИИ в чужом софте, зависимость от одного вендора. Совет, при этом, обозначает необходимость соблюдения баланса: отказ от ИИ также влечёт за собой риски потери конкурентоспособности и снижение способности выявлять современные угрозы ИБ и фрод Примеры в отчёте подтверждают рыночные варианты использования ИИ: кредитный скоринг, анти-фрод, AML/KYC, клиентское обслуживание, бэк-офис и непрерывность. И, конечно, сами риски агентного ИИ: - Несанкционированные действия. Агенту дали цель, он её достигнет. Иногда обходным путём: неэтичным или вовсе незаконным. Поймать это в реальном времени сложно — Накопление ошибок. Цепочка из сотни шагов. Ошибся на одном, и всё дальнейшее строится на ошибке - Сбой в зависимых системах. Агент ходит по API во внутренние и внешние системы. Что он там натворит — отдельный вопрос. А если агентов несколько, они могут договориться между собой (collusion). Звучит как «Чёрное зеркало», но реальные примеры уже есть - Отравление памяти (Memory Poisoning). Подменили кусок базы знаний в RAG, и поведение агента тихо поплыло. Без единого алерта. - Матрёшка субагентов. Главный агент плодит субагентов. Кто за кого отвечает, уже не разобрать. Контур контроля размывается Бриф на русском в следующем посте Оригинал документа: https://www.fsb.org/uploads/P151026-1.pdf