Не целый GPU на каждый AI-сервис: NVIDIA про шаринг в Kubernetes
Не целый GPU на каждый AI-сервис: NVIDIA про шаринг в Kubernetes Заявка на железо под вывод модели часто выглядит как «один сервис — целая видеокарта». Модель при этом занимает лишь часть памяти, а остальное на узле кластера простаивает — пока оркестратор не научится делить устройство между сервисами. NVIDIA разбирает, как в Kubernetes делить карту с жёстким лимитом по памяти и посадить больше моделей на тех же серверах без новой закупки. Есть и вариант с нарезкой чипа на изолированные куски — для приложения каждый кусок выглядит как отдельное устройство. Поднимаете модели в кластере и снова бьётесь о квоту «целый ускоритель на под»? Сверьте реальное потребление памяти с цифрой в заявке — запас на узле часто ещё не выбран.
8 просмотров