Qwen3.8-27B разогнали до 70 токенов/с на ноутбуке
Qwen3.8-27B разогнали до 70 токенов/с на ноутбуке Новое поколение спекулятивного декодирования DFlash 2 использует блочную диффузию и ускоряет авторегрессионный вывод в 4,6 раза. На MacBook Pro с M5 Max модель Qwen3.8-27B теперь выдает 70 токенов/с. При этом результат побитово совпадает с оригиналом — ни один токен не отличается. Для Qwen3.8-27B уже вышли черновые модели с поддержкой SGLang, vLLM, llama.cpp и oMLX. Подробнее — в анонсе на Hugging Face, суть подхода — в блоге.
20 просмотров