НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 26 сентября 2026 г.
Ускорение llama.cpp для GPU AMD
Ускорение llama.cpp для GPU AMD В llama.cpp добавлен новый путь Vulkan для кооперативных матричных вычислений, оптимизированный для видеокарт AMD RDNA3 и RDNA4. Обновление охватывает широкий спектр квантованных форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ4_XS, MXFP4 и NVFP4. На примере карты RX 7900 XTX и модели Gemma 4 26B-A4B Q4_0 скорость обработки промптов выросла на ~27% (с 3 410 до 4 331 токенов в секунду). Генерация токенов также показала прирост производительности. 🚀 📰 Подписаться на канал
3 просмотров