DFlash2: спекулятивное декодирование ускорит 27B-модели на потребительском железе в 4,6...
DFlash2: спекулятивное декодирование ускорит 27B-модели на потребительском железе в 4,6 раза Новый метод спекулятивного декодирования на основе блочной диффузии даёт 4,6-кратное ускорение inference без потери качества. Это делает возможным запуск серьёзных 27B-моделей на локальном железе, что критично для edge-деплоймента и снижения затрат. DFlash2 не революция, но важный шаг к демократизации мощного open-source AI за пределами дата-центров. 🔗 https://inco.ai/blog/dflash2/
21 просмотров