RAG | Нейросети | ИИ | AI | Агенты | Genie 4 | Grok 4.7 | Muse Spark Open | Llama 4 Scout | GLM 5.3 Flash | GPT-6 Astra | RTX Spark | World Models | Grok Voice 3.0 | DeepSeek V4.1 | Mistral Voxtral 3
IT и технологии · 28 октября 2026 г.
Биты при квантовании выгоднее тратить не поровну, а туда, где вред. Автор разбора на Ха...
Биты при квантовании выгоднее тратить не поровну, а туда, где вред. Автор разбора на Хабре вернул в bf16 выходную проекцию нулевого блока RWKV-7 — 0,5% файла — и KL упал на 39%; ещё 1,1% на 6-битный эмбеддинг сняли ещё 22% KL: вместе больше половины KL, перплексия +4,04% → +1,86%. 4 бита на 2,9B дают +4,04% против +2,85% на 1,5B — «больше модель, меньше потери» тут не работает. Виновница — та же o_proj нулевого слоя. Оговорки: RWKV-7 не трансформер, на Qwen и Llama это не переносится; мерили KL и перплексию, не задачи; код открыт (Apache-2.0).