Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 8 октября 2026 г.
Релиз vLLM v0.31.0
Релиз vLLM v0.31.0 Вышла новая версия библиотеки для инференса vLLM v0.31.0. Основные изменения включают: • Предзагрузка весов: функция vllm preload позволяет удерживать веса модели в памяти GPU при перезапуске движка, что ускоряет настройку серверов. • Улучшенное speculative decoding: Model Runner V2 теперь поддерживает draft-модели, а также адаптивную верификацию async DFlash и DSpark для Gemma4. • Оптимизация планировщика: добавлены новые элементы управления для обработки очередей запросов и адаптации времени обработки промптов. • Исправления: устранены дедлоки KV-cache/MTP и ошибки HiSparse, влияющие на генерацию и кэширование токенов. 🛠️ 📰 Подписаться на канал