НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 30 октября 2026 г.
Релиз drafter-моделей UBTree для Ling-3.0-Flash
Релиз drafter-моделей UBTree для Ling-3.0-Flash Компания Ant представила UBTree — специализированные drafter-модели для ускорения инференса Ling-3.0-Flash (124B параметров). Технология использует компактные модели (183M и 482M параметров) для предсказания будущих токенов. Согласно тестам, использование UBTree обеспечивает ускорение генерации до 3,43× (в отдельных конфигурациях до 5,36×). Веса моделей опубликованы под лицензией MIT. На текущий момент официальная поддержка требует использования специальной ветки SGLang/CUDA, однако сообщество уже адаптировало часть решения для работы в llama.cpp. 🚀 📰 Подписаться на канал
3 просмотров