R

RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Sol | GPT-6 Astra | Gemini 4 Argon | Claude Haiku 5.5 | Muse Wonder | MiniMax M3.1 Flash | DeepSeek V4.1 | DeepInfer | Mercury 3 | Beam 1.0 | Nemotron 3.5

IT и технологии · 4 августа 2026 г.

Открыть канал в MAX

llama.cpp добавил DSpark для DeepSeek V4. Угадывает токены реже MTP (46% против 65%), а...

llama.cpp добавил DSpark для DeepSeek V4. Угадывает токены реже MTP (46% против 65%), а инференс быстрее — 1.83x против 1.53x. Дело в размере блока: 5 токенов за раз, а не 2. Получаем 5×0.46=2.32 токена за проход, у MTP 2×0.65=1.30. Запускать с флагами --spec-type draft-dspark --spec-draft-n-max 5 --fit off, нужно ~110 ГБ RAM+VRAM. #спекулятивноеДекодирование #llamacpp #DeepSeekV4