🧠 ИИ
🧠 ИИ Amazon SageMaker HyperPod ускоряет запуск LLM с помощью кэширования моделей Amazon SageMaker HyperPod теперь позволяет значительно сократить время ожидания при запуске больших языковых моделей (LLM) благодаря новой функции кэширования моделей. Ранее, для моделей, таких как DeepSeek-R1 (более 600 ГБ), время ожидания перед началом обслуживания могло достигать 30 минут из-за последовательной загрузки контейнера и весов модели. Теперь, благодаря предварительной загрузке данных на локальное NVMe-хранилище со скоростью около 7 ГБ/с, время запуска снижается до нескольких секунд. Функция включает кэширование как контейнеров, так и весов моделей, и доступна во всех регионах, где доступен HyperPod. Важно учитывать, что для работы кэширования требуется достаточное количество NVMe-хранилища на инстансе. Источник: AWS · Machine Learning