R

RAG | Нейросети | ИИ | AI | Агенты | Gemini 4 Argon | Kimi K3.1 Pro | Muse Spark Open | DeepSeek V4.1 Flash | MiniMax M3.1 Flash | Claude Haiku 5.5 | GPT-6.1 Sol | Mistral Large 4 | Nemotron 3.5

IT и технологии · 26 августа 2026 г.

Открыть канал в MAX

На один выходной токен агентной нагрузки приходится 452 входных. Тормозит не генерация,...

На один выходной токен агентной нагрузки приходится 452 входных. Тормозит не генерация, а prefill: модель на каждый запрос заново читает системный промпт и контекст. В self-hosted vLLM это чинится одним флагом --enable-prefix-caching. Общий префикс считается один раз, дальше запросы подхватывают готовый кэш. Ожидание упало с 31,9 с до 0,24 с при hit-rate 96,9%.