RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | Claude Haiku 5.5 | GPT-6 Sol | Claude Opus 5.5 | Gemini 4 Argon | DeepSeek V4
IT и технологии · 7 августа 2026 г.
Ускорить LLM можно без замены модели. LMSYS выкатили SpecForge v0.3.0 — открытый рантай...
Ускорить LLM можно без замены модели. LMSYS выкатили SpecForge v0.3.0 — открытый рантайм спекулятивного декодинга. Лёгкая драфт-модель предсказывает токены наперёд, основная проверяет их пачкой — быстрее, чем генерировать по одному. Внутри 5 методов и 11 готовых драфт-моделей от сообщества на открытых данных. На Qwen3.6-27B — до 5.72×. Драфт и целевая модель живут раздельно — комбинируй как хочешь. Скорость обучения тоже подтянули на 10%.
45 просмотров