Токены это не результат
Токены это не результат Прочитал разбор от команды, которая внедряла ИИ-агента в крупной грузовой логистике, и один пункт из их списка «чего не делать» хочу повесить себе на стену. Не путать активность с результатом. Когда запускаешь агента, очень хочется мерить его по тому, что легко посчитать: сколько запросов обработал, сколько токенов сжёг, сколько раз его позвали. Цифры растут, графики красивые, все довольны. А бизнесу от этого ничего. У них агент отвечает логистам на вопросы вроде «сколько вагонов выгружено и где отклонение от плана». Мерили не запросы, а одно: сотрудник получает ответ по 150 объектам за минуты вместо часа ручной сверки. Вот это результат. Всё остальное шум. Ещё две вещи из того же списка, которые совпали с моим опытом. Модель у них не пишет запросы к базе сама, ей дали список готовых метрик: меньше свободы, зато нет выдуманных цифр. И база только на чтение, писать агент не может физически. Как по мне, самый честный вопрос при внедрении ИИ звучит так: «какое действие человека стало короче и на сколько?». Если ответа нет, агент пока просто греет воздух. https://habr.com/ru/companies/pgkdigital/articles/1071188/ А вы чем меряете своих агентов, запросами или сэкономленными часами?)
Канал в каталоге Максиметера
1 241 подписчиков · IT и технологии