Deepgram расширяет возможности наблюдения за ИИ в Amazon SageMaker
Deepgram расширяет возможности наблюдения за ИИ в Amazon SageMaker 📝 Суть Deepgram анонсировала два нововведения для своих моделей преобразования речи в текст (STT) и текста в речь (TTS), развернутых на Amazon SageMaker AI. Эти улучшения позволяют клиентам глубже понимать использование ресурсов и выставление счетов, устраняя ранее существовавший разрыв в наблюдаемости при использовании собственных решений для обработки речи. 🔢 Факты • Deepgram Enhanced Metrics публикует метрики использования и выставления счетов непосредственно в аккаунт Amazon CloudWatch клиента без необходимости в агентах, сайдкарах или дополнительных разрешениях IAM. • Эти метрики соответствуют значениям потребляемых единиц, которые используются для выставления счетов в AWS Marketplace, что позволяет сверять счета AWS с фактическим трафиком по моделям и транспорту. • Поддержка Prometheus и OpenTelemetry обеспечивает сбор метрик уровня движка непосредственно из контейнера Deepgram и метрик ускорителя на GPU и хоста. • Метрики Prometheus и OpenTelemetry собираются через детальную наблюдаемость SageMaker AI и могут запрашиваться с помощью PromQL в CloudWatch, Grafana или любом совместимом инструменте. • Deepgram Enhanced Metrics используют формат CloudWatch Embedded Metric Format (EMF) для записи в стандартный вывод контейнера, который SageMaker AI перенаправляет в группу журналов CloudWatch. • Метрики выставления счетов публикуются в пространстве имен Deepgram/SageMakerInference и включают ConsumedUnits, AudioDurationSeconds и CharCount, позволяя отслеживать стоимость по категориям, моделям и транспорту. • Метрики использования публикуются в пространстве имен Deepgram/SelfHosted и разбивают данные по методу, уровню модели и включенным функциям, таким как диаризация или умное форматирование. • Детальная наблюдаемость SageMaker AI по умолчанию включена для новых конечных точек, собирая метрики GPU (DCGM exporter), хоста (node exporter) и движка Deepgram. • Метрики Prometheus/OTel доступны в магазине метрик CloudWatch, совместимом с OTel, и могут запрашиваться с помощью PromQL, позволяя фильтровать данные по конечной точке, экземпляру или GPU. • Модели Deepgram, такие как Nova, Flux и Aura-2, доступные в SageMaker AI, предлагаются с 14-дневной пробной версией без дополнительной стоимости, но за инфраструктуру AWS взимаются сборы с момента развертывания. ⚖️ Почему это важно Эти нововведения устраняют пробел в наблюдаемости для саморазвернутых речевых ИИ-моделей, развернутых в SageMaker AI, предоставляя клиентам детальное понимание выставления счетов, использования функций и производительности движка. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/deepgram-deepens-amazon-sagemaker-ai-observability-with-enhanced-metrics/