Почему голосовому боту на LLM снова нужен классификатор: опыт Jev и открытых аналогов
Почему голосовому боту на LLM снова нужен классификатор: опыт Jev и открытых аналогов Голосовой бот на большой языковой модели (LLM) приятно разговаривает, но на реальных звонках спотыкается: может найти свободное окно и не записать клиента или перебить человека, который задумался. Часть таких ошибок можно снять с LLM и передать быстрой модели-классификатору. Самая обсуждаемая сейчас — Jev от TypeSafe, у которой уже появились открытые аналоги. Разбираем, как такие модели применяют в голосовых ботах и почему одной LLM недостаточно. В 2022–2024 годах, когда больших языковых моделей не было в широком доступе, классификаторы выделяли намерение из фразы быстро и дёшево. С появлением LLM показалось, что классификатор больше не нужен: модель сама поймёт смысл и сочинит ответ. На практике средние модели лопались от величины промпта или после нескольких смен темы начинали галлюцинировать. Большие и дорогие либо ломали экономику решения, либо отвечали так медленно, что в телефонном разговоре это неприемлемо. В реальных кейсах полагаться на одну модель нельзя: она пропускает момент вызова инструмента, вылезает за контекстное окно и сжигает токены. Jev — модель для принятия решений от TypeSafe. На вход она получает состояние (кусок транскрипта, последнюю реплику бота, шаг сценария) и ряд вопросов, на выходе отдаёт типизированный ответ: выбор из вариантов, оценку по шкале или вероятность «да/нет». Jev быстр: задержки укладываются в 70–500 мс. У неё уже появились открытые аналоги: Laya (Apache 2.0), Clef от Cloudflare, CMF от Cortiq, Bespoke Nimble, Kev, CLM-8B от Стэнфорда и Nvidia. Классификатор можно использовать на входе: он выбирает специализированного агента под тему и переключает его при смене темы. Это экономит токены и ускоряет реакцию. Другой подход — модерирование действий: LLM предлагает вызвать инструмент, а классификатор оценивает, подтвердил ли абонент действие, попрощался ли. Так, в продукте Pocos для салонов вопросы были буквальными: «Абонент подтвердил?», «Попрощался?», и только при высокой вероятности бот выполнял действие. Наконец, классификатор помогает определять, когда абонент договорил: «Да» после вопроса — законченная реплика, а «Я хотел сказать, что…» — нет, хотя пауза та же. Для этого используются VAD, детекторы завершения хода и шумодавы. Репозиторий: https://github.com/feder-cr/jev Главное: • Одна LLM не вытягивает весь диалог: нужен быстрый классификатор для маршрутизации и контроля действий. • Jev — модель для принятия решений с задержкой до 500 мс, у неё есть открытые аналоги. • Классификатор на входе выбирает агента под тему и экономит токены большой модели. • Модерирование действий: LLM предлагает, Jev оценивает, решение принимает бизнес. • Определение завершения реплики — отдельная задача, решаемая классификатором и VAD. #ИИ #ГолосовыеБоты #LLM #Классификаторы #OpenSource