🛰 AI Opportunity Radar · AWS Machine Learning · новость
🛰 AI Opportunity Radar · AWS Machine Learning · новость 🕒 Екатеринбург · 27.08.2026, 00:13 AWS представила Amazon Bedrock AgentCore Evaluations для унифицированной оценки фреймворков агентов 📝 Суть Amazon Web Services (AWS) выпустила Amazon Bedrock AgentCore Evaluations — новый инструмент, решающий проблему фрагментации при оценке ИИ-агентов. Сервис унифицирует процесс тестирования, делая его независимым от используемого фреймворка. Оценка проводится на основе телеметрии, передаваемой через OpenTelemetry, что обеспечивает совместимость с различными SDK и моделями. 🔢 Факты • Amazon Bedrock AgentCore Evaluations позволяет оценивать ИИ-агентов независимо от используемого фреймворка, устраняя проблему несовместимости инструментов оценки с разнообразием платформ. • Инструмент использует стандарт OpenTelemetry для сбора телеметрии (трассировок, метрик, логов) от агентов, что обеспечивает нейтральность к поставщику и способу сборки агента. • Сервис анализирует три типа спанов (span): invoke agent, inference и execute tool, чтобы реконструировать сессию взаимодействия и оценить её. • AgentCore Evaluations автоматически определяет, как читать данные из спанов, ориентируясь на префикс имени библиотеки, например, opentelemetry.instrumentation.* или openinference.instrumentation.* • Поддерживаемые фреймворки включают Strands Agents, LangGraph, OpenAI Agents SDK, LlamaIndex, Google ADK и Claude Agent SDK, как с OpenTelemetry, так и с OpenInference инструментацией. • Для успешной оценки спаны агента должны содержать атрибут session.id, соответствующий runtimeSessionId, чтобы сервис мог сгруппировать их в сессию. • Amazon Bedrock AgentCore Evaluations поддерживает два режима: "on-demand" для CI/CD и регрессионного тестирования, и "online" для непрерывного мониторинга живого трафика. • Режим "online evaluation" требует настройки OnlineEvaluationConfig, указывающей на лог-группу CloudWatch и процент выборки сессий, и использует только те оценщики, которые не требуют эталонных данных. • Для обеспечения надежной доставки телеметрии в CloudWatch необходимо выполнять сброс буферов (flush) перед возвратом ответа из обработчика вызова агента. ⚖️ Почему это важно Новый инструмент устраняет барьер в виде сложности оценки, позволяя командам быстрее внедрять ИИ-агентов в продакшен, независимо от выбранных технологий разработки. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/evaluate-any-agent-framework-with-amazon-bedrock-agentcore-evaluations/