AWS представила Ray Serve DLC для упрощения развертывания моделей машинного обучения
AWS представила Ray Serve DLC для упрощения развертывания моделей машинного обучения 📝 Суть AWS выпустила Ray Serve Deep Learning Containers (DLC) — предварительно собранные Docker-образы, предназначенные для упрощения и поддержки рабочих нагрузок моделирования инференса, особенно для тех, кто ранее использовал TorchServe. Новые контейнеры включают в себя фреймворки глубокого обучения, зависимости и GPU-стек, что избавляет пользователей от необходимости вручную управлять и патчить компоненты. 🔢 Факты • TorchServe больше не поддерживается активно, без планов на обновления, исправления ошибок или исправления уязвимостей. • AWS Deep Learning Containers (DLC) теперь включают Ray Serve DLC, расширяя подход предварительно собранных, оптимизированных Docker-образов на инференс. • Ray Serve DLC для GPU основан на образе NVIDIA Amazon Linux 2023 и включает PyTorch, Ray Serve, FastAPI, Uvicorn и утилиты для обработки мультимодальных данных, такие как FFmpeg с аппаратным ускорением NVIDIA. • Контейнеры Ray Serve DLC опубликованы отдельно для Amazon EKS/EC2 и Amazon SageMaker, с общим стеком и зависимостями. • В качестве примера развертывания используется модель Qwen3-VL-2B, которая обслуживается через HTTP-эндпоинт с помощью Ray Serve DLC на Amazon EKS. • Для развертывания на Amazon EKS используется один узел g5.xlarge с GPU NVIDIA A10G (24 ГБ VRAM), который запускает один под, обслуживающий модель по порту 8000. • Модель Qwen3-VL-2B загружается в формате float16 для соответствия 24 ГБ VRAM на GPU A10G. • Для масштабирования за пределы одного узла рекомендуется использовать KubeRay для оркестрации Ray-воркеров на нескольких узлах. ⚖️ Почему это важно Ray Serve DLC предоставляет поддерживаемый, предварительно протестированный контейнер, позволяющий разработчикам сосредоточиться на коде модели, а не на обслуживании инфраструктуры, устраняя проблемы с совместимостью CUDA и упрощая обновления. 👀 Что отслеживать Для начала работы можно воспользоваться примером кода из репозитория, демонстрирующим полное развертывание. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/simplify-and-support-your-torchserve-workloads-using-ray-serve-deep-learning-containers/