НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 24 сентября 2026 г.
FIT-GGUF: новая квантование с целевым размером
FIT-GGUF: новая квантование с целевым размером OpenBMB представила FIT-GGUF — метод квантования, который подбирает точность тензор за тензором под заданный размер или уровень качества. Вместо фиксированных уровней Q3–Q6 пользователь задаёт целевой объём, а алгоритм смешивает прецизию, чтобы в него попасть. Для MiniCPM5-2B показаны четыре варианта: Quality — 1,46 ГБ, Balanced — 1,28 ГБ, Compact — 1,21 ГБ, Mini — 1,14 ГБ. Метрика близости к BF16 — KL-дивергенция. Запускается в обычном llama.cpp и LM Studio. Авторы не утверждают универсальной оптимальности распределения точности. 📦 📰 Подписаться на канал
3 просмотров