Игровой ПК потянет большие MoE-модели: знакомьтесь, FreeToken
Игровой ПК потянет большие MoE-модели: знакомьтесь, FreeToken FreeToken — открытая система, которая сама решает, куда отправить тяжёлые вычисления: на GPU, CPU или в RAM. Благодаря этому большие MoE-модели запускаются на обычных ПК и ноутбуках — и без дикого квантования. Разработчики уже показали результаты: Qwen3.6 35B — 39 токенов/с на ноутбуке с RTX 4060 8GB; DeepSeek-V4-Flash 284B — 22–25 токенов/с на RTX 5090. Подробности — в статье на arXiv, а исходники уже на GitHub.
21 просмотров