AWS SageMaker HyperPod: новый механизм кэширования для ускорения загрузки моделей
AWS SageMaker HyperPod: новый механизм кэширования для ускорения загрузки моделей 📝 Суть Amazon SageMaker Inference на HyperPod теперь поддерживает кэширование моделей, что позволяет значительно сократить время "холодного старта" для больших языковых моделей (LLM). Новая функция предварительно загружает веса моделей и образы контейнеров на узлы кластера, обеспечивая доступ к данным из локального NVMe-хранилища со скоростью около 7 ГБ/с вместо загрузки по сети. Это позволяет запускать пода для обслуживания трафика за секунды, а не за десятки минут. 🔢 Факты • Amazon SageMaker HyperPod представил функцию кэширования моделей, чтобы уменьшить задержки при запуске LLM. • Кэширование моделей предварительно загружает веса моделей и образы контейнеров на узлы кластера до того, как они понадобятся подам. • После включения кэширования пода могут начинать обслуживать трафик за секунды, а не за десятки минут. • Загрузка большого языкового модели, такого как DeepSeek-R1 (более 600 ГБ), без кэширования может занимать более 30 минут. • Функция кэширования весов (weights cache) загружает веса моделей на локальное NVMe-хранилище каждого узла. • Кэширование образов (image cache) предварительно загружает образ контейнера сервера вывода на узлы, чтобы поды не ждали загрузки из Amazon ECR. • Кэширование образов может сократить время загрузки образа контейнера, которое обычно составляет 5–7 минут, до менее чем двух минут. • Кэширование весов и образов поддерживается для моделей, хранящихся в Amazon S3, Amazon FSx for Lustre и HuggingFace Hub. • Кэширование работает с предпочтительным, а не обязательным размещением подов: поды предпочитают узлы с кэшированными данными, но не блокируются, если кэш отсутствует. ⚖️ Почему это важно Кэширование моделей значительно ускоряет масштабирование и снижает время отклика для LLM, позволяя новым подам начинать обслуживание трафика за секунды вместо десятков минут, что критично при пиковых нагрузках. ↗ Источник: https://aws.amazon.com/blogs/machine-learning/reduce-inference-cold-starts-on-amazon-sagemaker-hyperpod-with-model-caching/