Decision 2.0
Decision 2.0 Семейство открытых decision-моделей от vLLM Semantic Router. Не генерируют текст, а отвечают на вопросы с вариантами ответа, да/нет или по шкале — сразу вероятностью для каждого варианта, одним проходом. • Ответ на вопросы выбора, да/нет и по шкале за один проход • Вероятность для каждого варианта вместо генерации текста • Вход — текст или JSON • Режим роутинга запросов: какой команде отдать тикет, есть ли чек, насколько срочно • 6 размеров: от 0.6B до 27B (Vega-27B, Lux-9B, Nox-4B, Sol-2B, Eos-0.8B, Kai-0.6B) • Контекст 32,768 токенов • Медиана 71.4 мс на вопрос на одной GPU Vega-27B — лучший в семействе, топ-скоор JevArena для своего размера (74.0) github.com/vllm-project/semantic-router Спасибо @m_franz #decision #rlcd