НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 4 ноября 2026 г.
Новый бэкенд ROCM_OCTAVE в vLLM
Новый бэкенд ROCM_OCTAVE в vLLM В релизе vLLM 0.33.0 появился новый бэкенд ROCM_OCTAVE для GPU AMD, реализующий сжатие KV-кэша в 3–4 бита. Согласно тестам разработчиков на 4× Radeon RX 7900 XTX с моделью Qwen3.8-27B, метод обеспечивает 4,6-кратное увеличение емкости KV-кэша по сравнению с FP16. Это позволяет значительно расширить контекст и количество параллельных запросов. В тестах на 2× RX 7900 XTX при работе с контекстом ~180K токенов скорость генерации составила 44,8 tps (против 31,8 tps у INT8-бэкенда). 🔧 📰 Подписаться на канал
3 просмотров
Канал в каталоге Максиметера
20 подписчиков · IT и технологии