763 миллиарда параметров — и все это на 12 ГБ видеопамяти
763 миллиарда параметров — и все это на 12 ГБ видеопамяти Запустить модель на 763 миллиарда параметров на обычном домашнем компьютере? Еще недавно это звучало как шутка, а теперь — вполне рабочая схема. Исследователи из австрийского института IST Austria сделали квантованную версию DeepSeek-V4.1-Flash методом GSQ-RCO, а команда движка инференса Strata довела дело до запуска на потребительских видеокартах. Цифры испытаний выглядят так: • RTX 5070 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти выдает около 5 токенов в секунду при генерации и до 231 токена в секунду при обработке входного контекста. • RTX 3060 с 12 ГБ видеопамяти и 46 ГБ оперативной памяти добирается до 8–10 токенов в секунду при генерации и примерно 149 токенов в секунду на входном контексте. Правда, есть нюансы. Оперативной памяти понадобится прилично, а на накопителе должно быть свободно не меньше 239 ГБ: большая часть весов живет в RAM и на SSD, откуда подгружается по мере надобности. Скоростью такое сложно назвать выдающимся, да и сложные агентные задачи по-прежнему упираются в вычислительные ресурсы. Но сам факт, что модель с 763 миллиардами параметров заводится на обычном компьютере, говорит о серьезном прогрессе в квантовании и оптимизации инференса. Веса модели доступны на Hugging Face.