NVIDIA MPS и Triton на Amazon EC2 снижают затраты на ASR-инференс на 75%
NVIDIA MPS и Triton на Amazon EC2 снижают затраты на ASR-инференс на 75% 📝 Суть AWS и NVIDIA представили решение для снижения затрат на автоматическое распознавание речи (ASR) с использованием NVIDIA CUDA Multi-Process Service (MPS) и NVIDIA Triton Inference Server на Amazon EC2. Новый подход сокращает потребность в GPU-инстансах на 75%, переходя с 16 на 4 инстанса, при этом сохраняя задержку ниже 1 секунды. 🔢 Факты • Типичный ASR-запрос использует 15-20% вычислительной мощности GPU, оставляя 80% простаивающими из-за стандартного механизма временного разделения NVIDIA CUDA. • Компания Heidi Health, обрабатывающая 2,4 миллиона клинических консультаций в неделю, использует 16 GPU-инстансов для поддержания задержки транскрипции ниже 1 секунды. • Применение NVIDIA MPS в сочетании с Triton Inference Server на Amazon EC2 сократило инфраструктурные требования на 75%, с 16 до 4 GPU-инстансов. • Новая конфигурация поддерживает задержку ниже 1 секунды при пропускной способности 92,1 запроса в секунду (RPS) на GPU. • NVIDIA MPS позволяет нескольким процессам одновременно использовать GPU без изменения кода, устраняя накладные расходы на переключение контекста. • Для данного решения используются две конфигурации MPS: для транскрипции — 25% SM с четырьмя параллельными процессами, для диаризации — 12% SM с восемью параллельными процессами. • Модель Conformer encoder оптимизируется с помощью ONNX Runtime и TensorRT, а декодер RNN-T TDT работает на PyTorch CUDA. • Для развертывания используются инстансы Amazon EC2 g6e.4xlarge и g7e.4xlarge с GPU NVIDIA L40S (48 ГБ), управляемые с помощью Docker Compose. • В качестве оптимизации для модели диаризации NVIDIA Streaming Sortformer 4-speaker v2 с использованием TensorRT + ONNX + MPS достигается 88% сокращение инфраструктуры. • Оптимизация с помощью TensorRT + ONNX + MPS для инстансов g7e.4xlarge позволила достичь 111,6 RPS и 88% экономии. ⚖️ Почему это важно Применение NVIDIA MPS совместно с Triton Inference Server на Amazon EC2 позволяет значительно сократить затраты на инфраструктуру для задач ASR-инференса, сохраняя при этом строгие требования к задержке. Эта оптимизация может быть применена к любой модели, где отдельные запросы используют малую долю вычислительной мощности GPU. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/reduce-asr-inference-costs-by-75-with-nvidia-mps-on-amazon-ec2/