RAG | Нейросети | ИИ | AI | Агенты | GPT-6 Sol | Claude Opus 5.5 | Gemini 4 Carbon | Mellum2.1 | DeepSeek V4 | GigaChat 3.5
IT и технологии · 11 октября 2026 г.
Вышел vLLM 0.31.0. Главное для тех, кто гоняет большие open-weight модели в проде: кома...
Вышел vLLM 0.31.0. Главное для тех, кто гоняет большие open-weight модели в проде: команда vllm preload держит пост-квантованные веса в видеопамяти GPU и отдаёт их движку по zero-copy IPC. Рестарт больше не читает веса с диска — вместо минут секунды. Спекулятивный декодинг переехал на Model Runner V2, добавился драфтер LiLiCorr. Apache 2.0.
2 просмотров