Перейти к содержимому
Максиметер

Корпоративному ИИ больше недостаточно быть умным. Ему нужно стать предсказуемым

Корпоративному ИИ больше недостаточно быть умным. Ему нужно стать предсказуемым MWS AI представила новую линейку Cotype для корпоративных ИИ-агентов. В пресс-релизе много привычных признаков технологической гонки: 27 млрд параметров, 262 тыс. токенов контекста, работа с документами и изображениями, результаты на бенчмарках. Но интереснее не то, насколько новая модель стала умнее. Интереснее — почему разработчику вообще приходится отдельно доказывать, что она способна дважды одинаково выполнить одну и ту же задачу. Cotype Pro 3 справилась с 92,2% тестовых бизнес-сценариев. При этом показатель воспроизводимости составил 79,1%. То есть между «модель умеет решить задачу» и «на неё можно положиться в реальном процессе» остаётся заметный разрыв. И это описывает нынешнее состояние рынка ИИ-агентов. Пока агент пишет справку, резюмирует документ или предлагает вариант ответа, вариативность можно считать полезным свойством. Но когда он начинает проверять налоговые риски, консультировать клиента по тарифу или принимать кадровые решения, та же вариативность превращается в проблему управления. Бизнесу нужен уже не самый убедительный ответ. Ему нужен регламентируемый ответ. Из этого несколько менее очевидных выводов. ▫️ Во-первых, качество корпоративного ИИ всё меньше определяется самой языковой моделью. Даже высокая воспроизводимость не отменяет специальное ограничения действия агента, проверку его выводов, сохранение историю решений и передавать спорные случаи человеку. Поэтому реальным продуктом становится не модель, а весь окружающий её контур: интеграции, права доступа, контроль, мониторинг и обработка исключений. С этой точки зрения MWS AI продаёт не столько Cotype, сколько возможность встроить её в управляемую корпоративную среду. ▫️ Во-вторых, локальность модели постепенно перестаёт быть только вопросом импортозамещения. Развёртывание в закрытом контуре, поддержка Astra Linux и дообучение на данных заказчика нужны не просто для соответствия политике информационной безопасности. Они позволяют компании контролировать сам жизненный цикл агента: где хранятся данные, кто меняет инструкции, как обновляется модель и кто отвечает за ошибку. То есть локальная модель становится частью корпоративного контроля, а не только российской альтернативой зарубежным API. ▫️ В-третьих, бенчмарки всё хуже отвечают на главный вопрос заказчика. Третье место в MERA, 74% точности на документах или почти полное отсутствие языкового дрейфа помогают сравнивать модели. Но они не показывают, сколько будет стоить промышленная эксплуатация агента, как часто он потребует вмешательства сотрудника и какой ущерб может нанести одна нестабильная ошибка. Поэтому следующим этапом конкуренции станут, вероятно, не новые таблицы с процентами, а метрики эксплуатации: • стоимость успешно завершённой задачи; • доля операций без вмешательства человека; • частота критических ошибок; • стоимость контроля одного агента; • время восстановления после сбоя. И тут начинаются сложности ▫️ чем больше ИИ-агент похож на самостоятельного сотрудника ▫️ тем больше вокруг него приходится строить управленческой инфраструктуры. Его нельзя просто подключить к базе знаний и отпустить работать. Ему нужны полномочия, ограничения, аудит, руководитель и процедура эскалации - как человеку. Поэтому рынок корпоративных агентов может развиваться не как рынок «цифровых сотрудников», а как новый слой корпоративного ПО, в котором языковая модель отвечает лишь за часть логики. И тогда преимущество получит не обязательно разработчик самой сильной модели. Его может получить тот, кто лучше всех превратит вероятностную модель в предсказуемый бизнес-процесс. Подписывайтесь на AI для бизнеса

1 060 просмотров

Канал в каталоге Максиметера

5 193 подписчиков · IT и технологии

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.