FreeToken: огромные ИИ-модели на обычном ПК
FreeToken: огромные ИИ-модели на обычном ПК Проект FreeToken от исследователей из UC Berkeley, MIT и UT Austin запускает сверхбольшие MoE-модели с официальными весами на обычных ПК. Без конвертации в GGUF. Тесты: Qwen3.6 35B на RTX 4060 (8 ГБ) → 39 токенов/с, DeepSeek-V4-Flash 284B на RTX 5090 → 22–25, GLM-5.2 753B на RTX PRO 6000 → 15. Это в 3–4 раза быстрее Ollama на генерации и в 6–30 раз на контексте. Секрет — в совместной работе GPU, CPU, RAM и PCIe. MoE-модель активирует только часть экспертов, поэтому FreeToken решает, что держать в VRAM, а что считать на CPU. Agent State Cache ускоряет повторную обработку контекста. Есть GUI и агентные обвязки. Код — на GitHub, детали — на сайте и в статье.
21 просмотров