🧩 Разбор · Habr
🧩 Разбор · Habr Selectel представил VRAM-калькулятор для подбора GPU-серверов под LLM 🧩 Разбор Компания Selectel разработала собственный VRAM-калькулятор, который помогает пользователям точно рассчитать необходимый объем видеопамяти для запуска больших языковых моделей (LLM) и подобрать подходящие GPU-серверы. Инструмент учитывает не только вес модели, но и системный оверхед, особенности квантования и аллокации памяти, что позволяет точнее спланировать бюджет. 🔢 Детали и аргументы • Selectel разработал VRAM-калькулятор для определения необходимого железа для запуска LLM. • Существующие инструменты часто выдают примерные значения потребления VRAM, расходящиеся с реальным потреблением. • Превышение лимита VRAM в обычных системах приводит к сбою Out of Memory и падению контейнера. • В стеках vLLM или TGI новые запросы при превышении VRAM встают в очередь, вызывая рост задержки или даунтайм. • Фактическое потребление VRAM зависит от модели, версии фреймворка, квантования и аллокации памяти. • Калькулятор учитывает статические веса и квантование (FP16, INT8, FP4), опираясь на эффективные форматы AWQ / GPTQ и FP8 для инференса. • В расчет динамического KV-кэша берется линейный рост памяти от размера батча (Max Batch Size). • Инструмент учитывает системный оверхед фреймворков (TensorRT-LLM, vLLM, Hugging Face TGI) и выделяет страховой буфер. • Для MoE-архитектур (Mixtral, DeepSeek) требования к VRAM остаются высокими, так как в память загружаются все эксперты. • Для моделей 7B–34B калькулятор предложит одиночные карты NVIDIA L40S, A10 или H100 NVL. ⚖️ Ограничения и выводы из источника Инструмент нужен для удобного планирования бюджета и расходов на внедрение ИИ, учитывая скрытые параметры, что позволяет спланировать инфраструктуру без риска внезапного падения. ↗ Оригинал: https://habr.com/ru/companies/selectel/news/1072400/