MWS AI открыла доступ к своему инструменту для оценки распознавания речи.
MWS AI открыла доступ к своему инструменту для оценки распознавания речи. MWS AI открыла код RESON – инструмент для оценки моделей распознавания речи. Это первая открытая разработка компании в области ASR. Библиотеку покажут на форуме «Цифровые решения». Пользователь загружает расшифровки модели и эталонные тексты. RESON приводит их к единым правилам, чтобы мелкие различия в написании не искажали оценку. Затем он считает метрики и собирает интерактивный HTML-отчет. Его можно использовать для технического разбора и для показа результатов бизнес-команде. Метрик больше 10, их можно настраивать. WER считает долю ошибочных слов, CER – ошибки на уровне символов. MWA дает каждому уникальному слову одинаковый вес, поэтому видны промахи на редких словах: названиях компаний и сервисов. Собственная метрика MWS AI, WIS, ищет слова, которые почти не влияют на общий результат, но важны в конкретном сценарии: бренды, англицизмы и т.п. Она учитывает частоту слов, долю ошибок, их тип и то, на что модель его заменяет. По ней удобно решать, что дообучать в первую очередь. RESON – это открытая Python-библиотека. Ее подключают через командную строку или Python API и разворачивают на своих серверах, в том числе в закрытом контуре. Это важно для банков и операторов, которые не могут отправлять голосовые данные вовне. Вместе с инструментом вышел бенчмарк MWS RESON ASR OSD. В нем более 12 тыс. размеченных записей общей длительностью около 38 часов. Данные двух типов: разговорная речь и фразы с числами (телефоны, счета, даты, суммы). Есть чистый звук и записи с шумом, например с работающим телевизором или чужими голосами. Много англицизмов и названий компаний, банков и операторов. MWS AI развивает технологии распознавания речи с 2019 года. Решения компании, в том числе голосовые модели семейства Audiogram, используются, в том числе крупнейшим по числу абонентов и выручке телекоммуникационным оператором России МТС. Руководитель команды распознавания речи MWS AI Александр Шевченко рассказал, что RESON создавали для внутренних задач. Раньше метрики считали в одном месте, ошибки разбирали в другом, а результаты сводили вручную. Теперь весь путь от подготовки данных до разбора ошибок собран в одной системе. Анализ, который занимал несколько часов, сократился до 10–15 минут. По словам Шевченко, компания хочет задать общий подход к оценке ASR, как минимум для русскоязычных данных. Подписывайтесь на Телекоммуналку
Канал в каталоге MAXimeter
10 853 подписчиков · IT и технологии