Запускаем LLM с 35B параметров на MacBook c 16 ГБ? Реально
Запускаем LLM с 35B параметров на MacBook c 16 ГБ? Реально Кажется, мы входим в новую эру: консьюмерские компьютеры начинают уверенно тянуть большие языковые модели локально. Всё благодаря SSD-streaming — технике, которая позволяет загружать веса напрямую с диска. Один энтузиаст сделал форк ds4 (https://github.com/andreaborio/ds4) и запустил модель Qwen3.6-35B-a3B на MacBook M1 с 16 ГБ оперативной памяти — скорость 9.77 токенов в секунду. Но ещё впечатлятельнее: DeepSeek v4 Flash на Mac M5 Pro с 64 ГБ выдаёт 12.58 t/s. Не любите командную строку? Есть и графическая оболочка — dsbox (https://github.com/andreaborio/dsbox).
25 просмотров