НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 20 октября 2026 г.
Релиз движка SonicBoom v0.0.3
Релиз движка SonicBoom v0.0.3 Представлен SonicBoom v0.0.3 — новый движок для инференса LLM, ориентированный на компиляцию без использования Python. Проект поддерживает кэширование планов выполнения и повторное использование префиксов. Согласно тестам разработчиков на GPU RTX 3050 (8 ГБ), движок демонстрирует прирост скорости декодирования до 1,18× по сравнению с llama.cpp при работе с моделью Gemma 4 E4B. Разработчики призывают сообщество провести независимое тестирование производительности на других конфигурациях оборудования. ⚡ 📰 Подписаться на канал
1 просмотров