Ошибка ИИ-агента в бизнесе: автор объясняет, кого назначать ответственным
Ошибка ИИ-агента в бизнесе: автор объясняет, кого назначать ответственным ИИ-агент — программа, которая не просто отвечает на вопросы, а сама выбирает и выполняет действия через подключённые системы: меняет статусы сделок в CRM, оформляет возвраты, создаёт заказы, пишет клиентам. Автор колонки Бовсуновский Анатолий рассуждает, что делать, когда такое действие ошибочно — например, агент дал клиенту скидку 30% вместо 3%. Его тезис: искать виновного после инцидента поздно, ответственность нужно распределять до того, как агент получит полномочия. Главный риск автор видит не в том, как убедительно ИИ пишет тексты, а в том, что ему разрешено делать. Неправильное резюме документа сотрудник заметит, а самостоятельно отправленное клиенту предложение или изменённая цена — уже действие. Поэтому он предлагает разделять уровни автономности: от «ИИ только рекомендует, решает человек» до «ИИ действует сам в заданных пределах» и «ИИ сам принимает решения с серьёзными последствиями». Чем выше уровень, тем жёстче нужны контроль, журналирование и ограничения. Ответственность на алгоритм переложить нельзя: у него нет должности и бюджета. По мнению автора, у каждого агента должен быть владелец со стороны бизнеса — например, коммерческий директор для агента по продажам. ИТ-команда отвечает за интеграции, доступы и журналирование, специалисты по безопасности — за риски, юристы — за юридические ограничения, но решение о том, может ли агент давать скидки или отменять заказы, принимает конкретный человек. Автор ссылается на подход NIST — американского института стандартов, который требует определять роли и ответственность за ИИ заранее. При этом требовать ручного подтверждения каждого шага автор тоже не советует — тогда автоматизация теряет смысл. Вместо этого он предлагает лимиты по сумме и типу операции. Пример с возвратами: до 3 000 рублей агент решает сам, от 3 000 до 20 000 — подтверждает сотрудник, свыше 20 000 — руководитель. В закупках агент может сам запрашивать предложения и размещать заказ до 50 000 рублей у проверенного поставщика, а новый поставщик или большая сумма требуют участия человека. Отдельные правила автор даёт для доступов и контроля. Агент — ещё один пользователь корпоративных систем, и права ему нужны минимальные: тому, кто читает остатки товаров, не нужно право менять закупочные цены. Опасна схема, где агент работает через одну административную учётную запись с полным доступом ко всем системам. Каждое значимое действие должно оставлять журнал — запись с временем, что агент запросил, как классифицировал ситуацию и что сделал: так после ошибки можно найти, где она произошла. Нужна и «красная кнопка» — заранее понятный способ остановить агента, плюс автоматические ограничения вроде «не более 20 возвратов в час» с остановкой при резком отклонении и возобновлением работы только после проверки человеком. Использование внешнего AI-сервиса, по словам автора, не перекладывает риски на поставщика: модель может быть внешней, но решение дать ей полномочия менять условия сделок приняла сама компания. Перед внедрением он советует выяснить гарантии и ограничения поставщика, какие данные уходят наружу, как фиксируются действия и что происходит при сбое сервиса. Главный вопрос при запуске агента, по его мнению, не «насколько он умён», а «что худшее он может сделать сам, как быстро мы это заметим и какой ущерб нанесёт до остановки». Конкретных цифр эффекта или внедрения статья не приводит — это авторская позиция, а не разобранный кейс. Источник: https://spark.ru/user/271942/blog/393205/ii-agenti-v-kompanii-kto-otvechaet-za-nevernoe-biznes-reshenie