НС

Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.

IT и технологии · 3 ноября 2026 г.

Открыть канал в MAX

Octave KV в vLLM: сжатие KV-кэша в 4,6× на AMD

Octave KV в vLLM: сжатие KV-кэша в 4,6× на AMD В vLLM объединён метод сжатия кэша ключей-значений (KV cache) — Octave KV. Автор сообщает о 4,6-кратном увеличении емкости кэшированных токенов при запуске Qwen3.8-27B на 4× AMD RX 7900 XTX по сравнению с FP16-кэшем. Это позволяет дольшие диалоги или больше параллельных запросов в пределах контекстного окна. Сжимается только KV-кэш, веса модели не меняются. На тестах по математике и длинному контексту качество осталось сопоставимым. 🔧 📰 Подписаться на канал