Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже н...
Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти. Исследователи из австрийского института IST Austria подготовили квантованную версию модели методом GSQ-RCO. Квантование снижает точность хранения чисел в модели, уменьшая занимаемую память. А разработчики Strata — движка инференса, то есть выполнения модели, — обеспечили запуск на потребительских видеокартах. В приведённых испытаниях получили такие скорости. Токены здесь — фрагменты текста, которые обрабатывает и выдаёт модель: RTX 5070, 12 ГБ видеопамяти и 64 ГБ оперативной памяти: около 5 токенов в секунду при генерации ответа и до 231 токена в секунду при обработке входного контекста. RTX 3060, 12 ГБ видеопамяти и 46 ГБ оперативной памяти: 8–10 токенов в секунду при генерации и около 149 токенов в секунду при обработке входного контекста. Но 12 ГБ видеопамяти — только часть условий. Нужны большой объём оперативной памяти и не менее 239 ГБ свободного места на накопителе. Большая часть весов — числовых параметров модели — хранится в оперативной памяти и на SSD, твердотельном накопителе, и подгружается по необходимости. Быстрой такую генерацию не назовёшь, а сложные агентные задачи по-прежнему требуют немалых вычислительных ресурсов. Прогресс здесь в самой возможности запустить 763-миллиардную модель на обычном компьютере благодаря квантованию и оптимизации инференса. Материалы: — https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF Источник: https://t.me/vibecoding_tg/4172 #RealVibe #AI #AI_Новости