R

RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Mistral Large 4 | Muse Wonder | Claude Haiku 5.5 | GPT-6 Sol | Claude Opus 5.5

IT и технологии · 18 сентября 2026 г.

Открыть канал в MAX

Забудь про битность — веса бывают троичными. PrismML собрала Bonsai 2, 27B-модель, в 5,...

Забудь про битность — веса бывают троичными. PrismML собрала Bonsai 2, 27B-модель, в 5,9 ГБ: вместо привычного сжатия каждый вес хранится как −1, 0 или +1 плюс общий множитель на группу из 128 весов. На 20 бенчмарках модель удерживает 98,2% качества FP16, тогда как IQ2_XXS на 7,3 ГБ даёт 88,4%. Работает шустро — 46 ток/с на ноутбуке M5 Max. Один нюанс: обычный llama.cpp эти файлы не потянет, нужен форк PrismML.