НС

Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.

IT и технологии · 1 ноября 2026 г.

Открыть канал в MAX

Ускорение Mellum2.1 через MTP

Ускорение Mellum2.1 через MTP JetBrains представила новую «голову» MTP (Multi-Token Prediction) для модели Mellum2.1. Дополнение позволяет предсказывать несколько токенов вперед, что ускоряет декодирование в 1,4–1,8 раза при сохранении точности базовой модели. Технические детали: • Вес модуля: ~200 МБ. • Прирост скорости: ~90% принятых предсказанных токенов. • Поддержка: llama.cpp, vLLM 0.33+ и Transformers 5.20+. Модель сохраняет исходные веса Mellum2.1, а MTP-надстройка доступна для использования в текущих конфигурациях. ⚡ 📰 Подписаться на канал