Qwen 3.8 27B упирается не только в VRAM: стек и режим инференса решают не меньше
Qwen 3.8 27B упирается не только в VRAM: стек и режим инференса решают не меньше Модель Qwen 3.8 27B с 4-битными весами примерно на 17 ГБ выглядит удобной для локального запуска, но на длинном контексте решает не только объём памяти. В тесте с одной RTX 5090 llama.cpp на длинных контекстах дал крайне плохую задержку: время до первого токена доходило примерно до 30 минут. При этом vLLM на той же карте загружает модель, но ограничивает контекст примерно 32K токенами, а SGLang на одной RTX 5090 работает почти в 3 раза быстрее и выдаёт 37 740 токенов контекста. Для более тяжёлого сценария двух RTX 5090 связка с vLLM дала 70–80 токенов/с без MTP и 100–110 токенов/с с MTP, а для полного нативного контекста 262K нужны либо две карты, либо одна карта с более чем 32 ГБ VRAM. На RTX 4090 и RTX 3090 модель запускается с llama.cpp, но контекст приходится ограничивать примерно 112K токенами. DGX Spark, судя по результатам, выглядит практичным вариантом для длинноконтекстного инференса благодаря сильному prefill и поддержке vLLM/SGLang, тогда как Mac Studio с M4 Max медленнее в обработке промпта, а Ryzen AI Halo в этом сценарии выглядит слабее из-за памяти и prompt processing.