Большая модель на ноутбуке: FreeToken запускает MoE без дата-центра
Большая модель на ноутбуке: FreeToken запускает MoE без дата-центра Команда из UC Berkeley и MIT открыла FreeToken — движок инференса (запуска готовой модели), который ставит крупные MoE-сети на обычный ПК. На ноутбуке с RTX 4060 (8 ГБ) Qwen3.6-35B даёт около 39 токенов в секунду. На игровом RTX 5090 идёт DeepSeek-V4-Flash (284 млрд параметров). На одной рабочей станции — GLM-5.2 (753 млрд). Вместо жёсткой выгрузки слоёв система делит расчёт токена между GPU и процессором по текущей пропускной способности шины. Авторы пишут о 3–4-кратном ускорении декодирования против llama.cpp и Ollama. Код под Apache 2.0, есть клиент и совместимость с агентами вроде Codex. Источники: https://arxiv.org/abs/2608.16157 https://www.infoq.com/news/2026/08/freetoken-local-inference/ #AI #FreeToken #MoE #LocalLLM #OpenSource #Inference