Strata — открытый движок, который с конца сентября запускает Qwen3.8-Flash-Next на 125 ...
Strata — открытый движок, который с конца сентября запускает Qwen3.8-Flash-Next на 125 млрд параметров на домашнем ПК с видеокартой от 12 ГБ. Сегодня вышла версия 0.1.39 с ускоренной генерацией. На RTX 5070, Ryzen 5 7600 и 64 ГБ RAM автор намерил в кванте Q2_0 80 токенов в секунду на коде вместо 75,8 и 72,7 вместо 68,4 на обычном тексте. Это скорость печати ответа, длинный промпт читается отдельно. Модель помещается благодаря MoE: на каждый токен нужна лишь часть экспертов. В видеопамяти лежат внимание, роутеры и кэш из нескольких тысяч самых востребованных экспертов. Все эксперты хранятся в оперативной памяти, и тех, которых нет на карте, процессор считает одновременно с видеокартой. Веса сжаты квантованием. Поэтому главное требование — RAM. С картой на 12 ГБ полной модели в Q2_0 или IQ2_XS нужно 48 ГБ, в 64 ГБ помещаются все основные кванты. На 32 ГБ с такой картой остаётся только Coder: версия для кода без половины экспертов, вне кода она слабее. Ещё нужны около 80 ГБ на диске, желательно SSD, Windows или Linux и карта NVIDIA или AMD. Что куда помещается и установщик — в репозитории Strata на GitHub. @neuro_channel