НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 18 октября 2026 г.
Релиз vLLM 0.32.0
Релиз vLLM 0.32.0 Вышла версия vLLM 0.32.0, в которой реализован новый API для структурированного вывода данных — /v1/systemone. Функция позволяет задать фиксированный набор допустимых ответов, после чего модель считывает вероятности первого токена для выбора варианта, ответа «да/нет» или оценки по шкале. Инструмент работает с обычными генеративными моделями. Также добавлена поддержка префиксного кэширования (prefix caching), что позволяет повторно использовать состояние модели при выполнении нескольких запросов к одному контексту, сокращая генерацию до одного токена на решение. 🎯 📰 Подписаться на канал
3 просмотров