На GTX 1080 Ti сравнили три MoE-модели Qwen3.8 для локального кодинга
На GTX 1080 Ti сравнили три MoE-модели Qwen3.8 для локального кодинга SkalolazOther проверил запуск Qwen3.8-27B-UD-Q4_K_M, Qwen3.8-35B-A3B-Q4_K_M и Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1 на GTX 1080 Ti с 11 ГБ VRAM, используя llama.cpp, правильный offload и DeepSeek Harness. Оценка шла на WikiText-2 и на Go-корпусе из The Pile. По PPL 35B-A3B Q4_K_M выглядела чуть лучше: 6.9559 на WikiText-2 и 1.4849 на Go-корпусе против 6.9642 и 1.5943 у плотной 27B; Distill.APEX показала 7.1503 и 1.5662. В llama-bench картина сместилась в сторону скорости: 27B дала 4.04 токена/с, 35B-A3B Q4_K_M — 21.40 токена/с, а Distill IQ3_XXS — 31.66 токена/с. Практический вывод для локального кодинга и агентных сценариев прост: плотная 27B на этой карте слишком медленна для многошаговой работы, а 35B-A3B Q4_K_M дает более ровный баланс качества и скорости. Если важна именно высокая пропускная способность, автор отдельно отмечает Distill.APEX; если нужен компромисс, имеет смысл начинать с 35B-A3B Q4_K_M. Источник: Habr Video Cards RU — https://habr.com/ru/articles/1094052/