НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 5 октября 2026 г.
Оптимизация llama.cpp для Apple Silicon
Оптимизация llama.cpp для Apple Silicon В библиотеку llama.cpp (версия b11404) добавлены новые Metal-ядра, ускоряющие работу спекулятивного декодирования. Обновление повышает эффективность обработки пакетов токенов на чипах Apple M3 Ultra. Согласно тестам на модели Qwen3.8-27B (квантование Q4_0), скорость декодирования кода выросла с 30,2 до 110 токенов в секунду, а прозаических текстов — с 16,8 до 62,6 токенов в секунду. ⚡ 📰 Подписаться на канал
3 просмотров