Агент отвечает уверенно и неверно — AWS показала девять этапов оценки
Агент отвечает уверенно и неверно — AWS показала девять этапов оценки Зелёный дашборд — худший ложный друг для агента в проде: алерт говорит «ответили», а не «ответ верный». В AWS перед выкатом для полевых продавцов почти ушёл в прод такой кейс — гладкий текст, цифра с неверной подписью, мониторинг молчал. Команда сложила девять этапов оценки вокруг Bedrock AgentCore Evaluations — от эталонного набора в пайплайне до детекта дрейфа после релиза. Это не финальный QA перед демо, а замкнутый контур: один просевший суб-агент портит синтез наверху. Если собираете мультиагентный workflow у себя, полезный вопрос перед релизом один: не «всё ли отвечает», а «заземлены ли факты в данных» — пока клиент не услышал уверенную ошибку на звонке.
8 просмотров