AWS представила комплексный подход к мониторингу многоагентных систем
AWS представила комплексный подход к мониторингу многоагентных систем 📝 Суть AWS анонсировала новую архитектуру для мониторинга жизненного цикла агентов в продакшене, объединяющую Amazon Bedrock AgentCore Evaluations для оценки качества и AWS DevOps Agent для автономного расследования инцидентов. Система была продемонстрирована на примере системы бронирования авиабилетов, построенной на базе четырех специализированных агентов, использующих паттерн Swarm. 🔢 Факты • Традиционные методы мониторинга не всегда выявляют проблемы в многоагентных системах, например, отсутствие разрешений IAM или некорректно настроенные подсказки, которые не приводят к ошибкам 500, но снижают эффективность агентов. • Amazon Bedrock AgentCore Evaluations обеспечивает непрерывную оценку качества работы агентов, выявляя неправильный выбор инструментов, сбои в задачах и регрессии качества, которые не фиксируются стандартными инфраструктурными метриками. • AWS DevOps Agent — это инструмент для автономного расследования инцидентов, который анализирует журналы Amazon CloudWatch, отслеживает ошибки между сервисами, коррелирует политики IAM и трассировки для определения первопричин сбоев. • Система мониторинга состоит из двух уровней: Amazon Bedrock AgentCore Evaluations для проверки корректности работы агента и AWS DevOps Agent для проверки работоспособности инфраструктуры. • В качестве демонстрации была создана система бронирования авиабилетов с четырьмя специализированными агентами, использующими паттерн Swarm, где Supervisor Agent направляет задачи другим агентам (Flight Agent, User Agent, Reservation Agent). • AgentCore Evaluations использует методологию LLM-as-a-Judge для оценки качества взаимодействий агентов по таким параметрам, как полезность, корректность и успешность выполнения цели. • Система собирает операционные метрики, распределенные трассировки и баллы качества в одном месте — Amazon CloudWatch, благодаря интеграции AgentCore runtime с OpenTelemetry. • Для предотвращения вредоносных или неуместных ответов в реальном времени используется Amazon Bedrock Guardrails, который работает с каждым ответом перед его отправкой пользователю. ⚖️ Почему это важно Новый подход позволяет значительно ускорить разрешение инцидентов, повысить соответствие политикам и создать итеративный цикл улучшений, основанный на реальном поведении системы в продакшене. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/monitoring-production-agent-lifecycle-with-aws-devops-agent-and-agentcore-evaluations/