AWS представила метрику Agent Evaluation Metric для оценки многоходовых диалогов
AWS представила метрику Agent Evaluation Metric для оценки многоходовых диалогов 📝 Суть AWS Machine Learning представила Agent Evaluation Metric (AEM) – декомпозируемую метрику для оценки качества многоходовых диалогов с ИИ-агентами. AEM оценивает правильность ответов на каждом шаге диалога, отделяя первопричины ошибок от последующих, унаследованных проблем. Это позволяет точно определять, на каком этапе произошла ошибка, и не просто констатировать общий провал диалога. 🔢 Факты • Многоходовые диалоги с ИИ-агентами часто терпят неудачу из-за того, что одна ранняя ошибка незаметно влияет на все последующие шаги. • Agent Evaluation Metric (AEM) предлагает пошаговый подход к измерению качества агента, позволяя оценивать каждый ход отдельно. • AEM оценивает правильность диалога через две подметрики: правдивость (truthfulness) и полнота (completeness). • Для ответов в свободной форме подметрика полноты отвечает на вопрос, охватывает ли ответ весь запрос, а правдивости — соответствует ли ответ фактам. • Для вызовов инструментов подметрика полноты проверяет наличие всех обязательных параметров, а правдивости — их семантическую корректность. • AEM использует семантическое сравнение, а не точное совпадение, для оценки эквивалентности значений, например, «New York City» и «NYC». • При неудаче хода AEM присваивает причину сбоя, такую как 'inconsistent_parameter_values' (некорректные значения параметров) или 'prior_action_failed' (сбой предыдущего действия), что позволяет отличить первопричины от каскадных ошибок. • Оценка AEM может быть интегрирована с существующими SDK для оценки агентов, такими как Strands Agents, как пользовательский оценщик (custom evaluator). • В производственном мониторинге AEM отслеживает общую правильность по версиям модели, корректность в зависимости от длины цепочки вызовов и распределение причин сбоев. • Применение AEM к примеру с отчетом о продажах показало, что ошибка в вызове инструмента во втором ходе (profit вместо revenue) привела к каскадным сбоям в следующих трех ходах. ⚖️ Почему это важно AEM позволяет более точно оценивать и отлаживать многоходовые диалоги, выделяя конкретные шаги, вызывающие ошибки, что особенно важно для сложных корпоративных помощников. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/agent-evaluation-metric-for-multi-turn-conversations/