RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | GLM-5.3 | Kimi K3 | DeepSeek V4.1 | GPT-6 Astra | MiniMax M3.1 | Mercury 3 | Beam 1.0 | Jais 3
IT и технологии · 20 октября 2026 г.
Первый токен в агенте ждут долго не из-за «раздумий» модели: prefill заново считает всю...
Первый токен в агенте ждут долго не из-за «раздумий» модели: prefill заново считает всю историю. KV прошлого хода висит на decode-ноде, и в P/D-деплое vLLM prefill его не видит. С 0.21.0 появился обратный путь. Decode отдаёт метаданные блоков в конце ответа, роутер запоминает их по conversation_id, и prefill забирает KV по NIXL, считая лишь новый суффикс. В блоге TTFT на Qwen3-32B 778 → 460 мс при контексте 24k, на GLM-5-FP8 2 334 → 702. Только для P/D на разных нодах; это время до первого токена, не скорость генерации. Замеры вендора, сквозной пример требует патча из открытого PR.