🤖 Новость · AWS Machine Learning
🤖 Новость · AWS Machine Learning AWS SageMaker HyperPod интегрирован с фреймворком Ray для обучения и обслуживания моделей 🧭 Что произошло AWS анонсировал интеграцию фреймворка Ray с Amazon SageMaker HyperPod, предоставив специализированную инфраструктуру для обучения и обслуживания фундаментальных моделей. Новые возможности позволяют специалистам по данным создавать, управлять и мониторить кластеры Ray непосредственно из SageMaker Studio, упрощая распределенные рабочие нагрузки Python и работу с GPU. 🔢 Ключевые факты • Amazon SageMaker HyperPod теперь интегрирован с Ray, фреймворком для масштабирования распределенных Python-нагрузок на кластеры GPU. • Интеграция позволяет специалистам по данным создавать кластеры Ray, получать доступ к Ray Dashboard, настраивать панели мониторинга Amazon Managed Grafana, подключать рабочие пространства JupyterLab или Code Editor, а также отправлять распределенные задания и настраивать обнаружение зависших заданий — всё из SageMaker Studio. • Ray-задания на обучение получают автоматическую отказоустойчивость благодаря мониторингу состояния узлов HyperPod и их восстановлению, а также многоуровневому чекпоинтингу для более быстрого возобновления. • Интеграция с SageMaker JumpStart позволяет загружать веса моделей напрямую в конечные точки Ray Serve, с выгрузкой KV-кэша в многоуровневое хранилище для обслуживания запросов с длинным контекстом. • Для работы требуется кластер Amazon SageMaker HyperPod с оркестрацией Amazon EKS и установленными компонентами: SageMaker Spaces EKS add-on, HyperPod Observability EKS add-on, KubeRay operator и HyperPod Ray Endpoint Operator. • SageMaker Studio позволяет создавать, управлять и контролировать кластеры Ray без написания манифестов Kubernetes или выполнения команд kubectl. • Для удаленной отправки заданий на кластеры Ray из Studio, ноутбука или CI/CD-конвейеров используется пакет Python toolkit-for-ray-on-sagemaker-ai. • HyperPod Observability EKS add-on автоматически обнаруживает поды Ray, собирает метрики и предоставляет четыре предварительно настроенных дашборда Grafana: RayCore, Ray Data, Ray Train и Ray Serve. • SageMaker HyperPod обеспечивает три уровня устойчивости для Ray-нагрузок обучения: автоматическое восстановление узлов, обнаружение зависших заданий и многоуровневое сохранение контрольных точек. ⚖️ Почему это важно Эта интеграция доступна сегодня во всех регионах AWS, где поддерживается SageMaker HyperPod EKS. ↗ Оригинал: https://aws.amazon.com/blogs/machine-learning/introducing-new-ray-capabilities-on-sagemaker-hyperpod/