RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | DeepSeek | Qwen 27B | GLM-5.3 | Kimi K3 | GPT-6 Astra
IT и технологии · 7 октября 2026 г.
Мини-ПК с NPU и «ИИ-ускорением»: что по факту. Qwen3.6-35B-A3B через FastFlowLM на Ryze...
Мини-ПК с NPU и «ИИ-ускорением»: что по факту. Qwen3.6-35B-A3B через FastFlowLM на Ryzen AI 9 365 — prefill ~200 ток/с, decode 13–17 ток/с. Круглосуточно, но строго один запрос за раз. llama.cpp, Ollama и LM Studio NPU не поддержали, драйвер видит половину оперативки. Отмена запроса роняет рантайм, лечится LiteLLM-прокси. 35B на маленькой коробке работает — как демо, а не рабочая лошадка.
1 просмотров