R

RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Mistral Large 4 | Muse Wonder | Claude Haiku 5.5 | GPT-6 Sol | Claude Opus 5.5

IT и технологии · 14 августа 2026 г.

Открыть канал в MAX

Квантование KV-кэша — самый дешёвый способ урезать память: сжимаешь кэш, веса не трогае...

Квантование KV-кэша — самый дешёвый способ урезать память: сжимаешь кэш, веса не трогаешь. Но урон неравномерный. Один q8_0. Gemma 4 26B A4B проседает (KL 0.377 против f16), Qwen 3.6 27B почти не замечает (0.024). Разница в пятнадцать раз. Не выкручивай квантование вслепую до упора. Гони свой сценарий на конкретной модели и сверяй качество — где-то q4_0 почти бесплатен, где-то каша.