ИИ прочитал документ. Кто разрешил ему создать заявку?
ИИ прочитал документ. Кто разрешил ему создать заявку? Сотрудник просит найти порядок оформления доступа. Помощник читает документ с посторонней инструкцией оформить заявку на изменение прав и пытается выбрать инструмент создания заявки. Сотрудник просил справку. Это вымышленная учебная ситуация. Косвенная prompt injection действует через читаемый материал: он может повлиять на выбор модели, но не должен давать ей полномочия. Развилка: подготовить черновик для обсуждения или создать запись в рабочей системе. Для этого сценария руководитель задаёт три ограничения: 1. Разрешённые материалы, данные и поля определяет приложение. Помощник может подготовить черновик. 2. Создание требует подтверждения конкретного содержимого уполномоченным сотрудником: системы, прав, получателя и основания. Значимые изменения требуют нового подтверждения. 3. Сервер проверяет права сотрудника, действие и параметры, включая соответствие подтверждённому содержимому. Одна системная фраза против посторонних команд не заменяет эти проверки. Подтверждение человека тоже не гарантирует защиту, а RAG сам по себе не устраняет угрозу. Создание заявки не означает выдачу доступа — это отдельный процесс. Однако заявка уже является действием от имени пользователя. Обсудите с УЦ ФОРС обучение по ИИ и безопасности под задачи команды: какие действия помощник предлагает, какие выполняет и кто их разрешает. #ИИ #ИнформационнаяБезопасность #УЦФОРС