FreeToken: 753B-модель на одном рабочем ПК
FreeToken: 753B-модель на одном рабочем ПК Команда из UC Berkeley и MIT (включая Song Han, Matei Zaharia и Ion Stoica) выпустила FreeToken — систему запуска больших открытых моделей прямо на потребительском железе. MoE (Mixture-of-Experts — «смесь экспертов», когда работает только часть параметров) обычно требует дата-центров. FreeToken динамически распределяет вычисления и состояние модели между GPU, CPU и памятью под конкретную нагрузку и железо. Результат: 35B-модель на ноутбуке с 8 ГБ, 284B на игровом десктопе и даже 753B GLM-5.2 на одном RTX PRO 6000 — вдвое быстрее llama.cpp. Система поддерживает более 20 MoE-моделей и реальные агентные сценарии (код, инструменты). Это делает открытые веса по-настоящему локальным инструментом, а не только облачным сервисом. Frontier-модели на домашних машинах - уже "обычное дело"? Источники: https://arxiv.org/abs/2608.16157 https://github.com/FlashML-org/FreeToken https://huggingface.co/papers/2608.161573 #AI #FreeToken #MoE #EdgeAI #OpenSource #LLM