vLLM или Ollama для продакшена: архитектура, конфиги и точки разрыва — 5 июля 2026 г. в 01:43:13.396
vLLM или Ollama для продакшена: архитектура, конфиги и точки разрыва Выбор инференс-движка определяет не только QPS на кластере, но и стоимость GPU-часов и устойчивость к спайкам нагрузки. Ollama — это быстрый путь от локальной проверки до демо-сервиса, упакованный в единый бинарник с встроенным прокси и простейшим планировщиком. vLLM построен как промышленный сервер: PagedAttention для управления KV-кэшем, continuous batching без блокировки контекста, нативная поддержка Tensor/Pipeline Parallelism. В продакшене разница не в «кто быстрее», а в том, как движок ведет себя при деградации GPU-памяти и конкурентном доступе к VRAM. При 20+ одновременных сессиях Ollama начинает дросселировать из-за линейного роста KV-cache и отсутствия тонкой настройки prefill/decode шагов. vLLM режет память по страницам 16KB, позволяет держать очередь запросов без OOM, но требует явного управления через EngineArgs. Ниже — конкретика для внедрения в инфраструктуру на базе NVIDIA L40S / RTX 4090 и Debian 12. #AI #LLM #OpenSource #Inference