Qwen3.8-Flash-Next запустили на GTX 1080 Ti через llama.cpp и DeepSeek Harness
Qwen3.8-Flash-Next запустили на GTX 1080 Ti через llama.cpp и DeepSeek Harness Авторский разбор показывает, что крупную MoE-модель Qwen3.8-Flash-Next удалось поднять на старой GTX 1080 Ti с 11 ГБ VRAM за счёт гибридного размещения вычислений между видеокартой и оперативной памятью. В тестовой сборке использовались Core i9-9900K, 64 ГБ RAM, Ubuntu Linux, llama.cpp, DeepSeek Harness и GGUF UD-Q4_K_XL объёмом около 111 ГБ, разбитый на четыре shard-файла. Для запуска понадобились также параметры 16K-контекста, batch size 2048, ubatch size 1024, один параллельный слот и K/V-кэш Q8. На практике автор получил около 11 токенов/с при decode и около 19 токенов/с на prefill. Это делает схему пригодной скорее для локальных агентных сценариев, tool calls и многошаговой работы, чем для комфортного интерактивного чата. Отдельно отмечен обходной путь для Linux: плагин dsh-local-llm-controller ожидает имя llama-server.exe, поэтому используется символическая ссылка на llama-server. Автор также предупреждает, что параметры offload и контекста нельзя переносить на другую видеокарту один к одному. Такой подход полезен тем, кто хочет выжать локальный inference из старой карты, но ему нужна запасная RAM и место на диске. Источник: Habr Video Cards RU — https://habr.com/ru/articles/1085544/