R

RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Terra | Gemini 4 Carbon | Claude Opus 5.5 | Kimi K3.1 Pro | Mistral Large 4 | DeepSeek V4.1 | Flint | LFM3 | Muse Spark | Claude Duet | Genie 4

IT и технологии · 6 ноября 2026 г.

Открыть канал в MAX

Kinference выбирает воркер по содержимому KV-кэша, а не по кругу. Слой над vLLM в Kuber...

Kinference выбирает воркер по содержимому KV-кэша, а не по кругу. Слой над vLLM в Kubernetes, не движок и не форк: клиенты шлют OpenAI-совместимый трафик на один HTTP-эндпоинт, а он сверяет блоки промпта с кэшем воркеров и говорит шлюзу, куда отправить запрос. Маршрутизация между воркерами, а не prefix caching внутри движка. Замеры авторов: медианный TTFT на общем префиксе 6,88 → 0,31 с. Репозиторий с 5 октября, пока alpha. github.com/Kinference-AI/kinference