R

RAG | Нейросети | ИИ | AI | Агенты | Claude Duet | Muse Wonder | Gemini 4 Argon | Claude Haiku 5.5 | DeepSeek V4.1 | Qwen3.6 | Muse Spark Open | Nemotron 3.5 | MiniMax M3.1 | Kimi K3 | GLM 5.3

IT и технологии · 3 августа 2026 г.

Открыть канал в MAX

Ollama — идеальный старт: скачал модель, и она работает. Но когда к вашей LLM стучатся ...

Ollama — идеальный старт: скачал модель, и она работает. Но когда к вашей LLM стучатся коллеги, cron и пара сервисов — начинаются очереди. Пора переезжать на vLLM, если GPU загружен на треть, ответы ползут, а модель хочется раздать на несколько карт с нормальными метриками. vLLM даёт continuous batching — пачку запросов за раз вместо «по одному». Плюс PagedAttention экономит VRAM на KV-кэше. Ставите рядом с Ollama и потихоньку переводите трафик.