Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже н...
Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти. Исследователи из австрийского института IST Austria представили квантованную версию модели, используя метод GSQ-RCO, а разработчики движка инференса Strata обеспечили возможность её запуска на потребительских видеокартах. Согласно результатам испытаний: > RTX 5070 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти обеспечивает около 5 токенов в секунду при генерации ответа и до 231 токена в секунду при обработке входного контекста. > RTX 3060 с 12 ГБ видеопамяти и 46 ГБ оперативной памяти достигает 8–10 токенов в секунду при генерации ответа и около 149 токенов в секунду при обработке входного контекста. Однако для запуска потребуется значительный объём оперативной памяти и не менее 239 ГБ свободного места на накопителе, поскольку большая часть весов модели хранится в оперативной памяти и на SSD, откуда подгружается по мере необходимости. Разумеется, подобную скорость трудно назвать высокой, а выполнение сложных агентных задач по-прежнему требует немалых вычислительных ресурсов. Тем не менее сама возможность запустить модель с 763 миллиардами параметров на обычном компьютере свидетельствует о существенном прогрессе в области квантования и оптимизации инференса. https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF