RAG | Нейросети | ИИ | AI | Агенты | Mistral Large 4 | Gemini 4 Argon | GPT-6.1 Sol | Claude Sonnet 5.5 | GLM 5.3 | DeepSeek V4.1
IT и технологии · 9 октября 2026 г.
TokenRouter из THU-NICS делит одну генерацию между разными моделями: слабую отправляет ...
TokenRouter из THU-NICS делит одну генерацию между разными моделями: слабую отправляет на простые токены, сильную на сложные. Переключение в том же процессе, KV-кэш не пересобирается. Прирост от 2 до 64 раз, зависит от пары моделей и нагрузки. На concurrency 8 выходит 2,76× к официальному R2R. Сделано на SGLang, принято на NeurIPS 2026, код выложен на GitHub.
1 просмотров