Лучшие защиты специально замедляют работу: чему банки могут научить ИИ-агентов
Лучшие защиты специально замедляют работу: чему банки могут научить ИИ-агентов Автор — инженер по безопасности платформ, который строит ИИ-агентов. В статье он разбирает приём из банковского дела и предлагает перенести его на агентов: некоторые действия стоит не блокировать, а намеренно задерживать. Пример из банков: если добавить нового получателя и сразу отправить ему деньги, перевод не пройдёт — час, иногда дольше. Задержка и есть защита. Честному клиенту она стоит небольшого ожидания, а мошеннику, вошедшему с украденного логина, она отнимает единственный шанс вывести деньги до того, как кто-то заметит неладное. Смысл в том, что взлом аккаунта — через кражу пароля, фишинг или подмену SIM-карты — в момент перевода ничем не отличается от законной операции: вход настоящий, сессия настоящая. Останавливает мошенничество не проверка входа, а время: за час срабатывают проверки службы безопасности, клиент успевает увидеть СМС о незнакомом получателе и заморозить перевод. Обычный контроль доступа задаёт один вопрос: разрешено действие или нет. Задержка добавляет третий ответ — «разрешено, но не сейчас» — и только для узкого круга дорогих и необратимых действий вроде перевода денег новому получателю. Вход в аккаунт или проверка баланса такого торможения не получают. С существующей защитой агентов автор честен: она уже развивается. В Agents SDK от OpenAI вызов инструмента может остановиться посреди работы и ждать, пока человек одобрит или отклонит его. Есть и «автоматические предохранители»: после серии сбоев или превышения порога риска вызовы отклоняются до окончания паузы. Но всё это ловит только то, что выглядит подозрительным. Автор приводит пример: агент с законным доступом к базе клиентов по вредной инструкции удаляет ровно одну запись — такую же, какие он удаляет пятьдесят раз в день. Аномалии нет, и детектор, который ищет странное поведение, за неё не зацепится. Массовое удаление десяти тысяч записей он, наоборот, скорее поймает. Предложение автора: для короткого списка дорогих и необратимых действий агента вводить обязательную паузу всегда, независимо от того, насколько обычным выглядит запрос — как банк делает с новыми получателями. Не каждое действие, а именно несколько поименованных. Два условия работоспособности. Первое: пауза не должна быть пассивной — банковский час работает, потому что в это время сканируют системы безопасности и уходят оповещения; очередь действий агента, которую никто не смотрит, бесполезна. Второе: задержки должно быть мало — если они начнут тормозить обычную работу, люди начнут обходить контроль и одобрять не читая, что хуже отсутствия контроля. Автор сам ограничивает масштаб заявления: идея добавлять трение в рискованные действия агентов не нова, компании уже делают рабочие версии на реальные деньги инвесторов. Открытым остаётся одно узкое решение — оценивать действия по их типу, а не по подозрительности в моменте. Это можно добавить к существующим системам защиты, не перестраивая их с нуля. Источник: https://hackernoon.com/some-of-the-best-security-features-slow-you-down-on-purpose