⚡️ Сбер выложил в открытый доступ нейросеть, которая слышит эмоции в голосе точнее поло...
⚡️ Сбер выложил в открытый доступ нейросеть, которая слышит эмоции в голосе точнее половины мировых аналогов. 14 июля вышла GigaChat Audio (GigaChat3.1-Audio-10B) — модель, которая работает с аудио напрямую, без промежуточного перевода речи в текст. Она различает интонацию, тембр и эмоции говорящего, разделяет голоса разных людей в записи и находит момент, где обсуждался нужный вопрос, — с таймкодом. Держит в памяти до 2 часов разговора при записи длиной до 3 часов. Лицензия MIT, веса открыты на Hugging Face и GitHub — можно скачать и развернуть у себя бесплатно. Вместе с ней вышла GigaAM Multilingual — модель распознавания речи на русском, английском, казахском, киргизском и узбекском. ⚖️ Сравнение На бенчмарке Arena Hard Audio у GigaChat Audio 75% побед в слепых сравнениях — почти вровень с Gemini-3-Flash-preview (77,5%). Отдельно по распознаванию эмоций — 80% точности против 70% у Qwen3-Omni-30B и 62% у Kimi-Audio. GigaAM Multilingual в компактной версии (240 млн параметров) обходит по числу ошибок Whisper Large v3 и Omnilingual 1B — разрыв с ближайшими аналогами в 1,5–2 раза. Честно: прямого сравнения с платным GPT-4o audio я не нашла — разработчики его не публиковали, а по общему баллу Arena Hard Audio Gemini всё же немного впереди. Зато и GigaChat Audio, и GigaAM — открытые модели с весами в свободном доступе, а Gemini и GPT-4o — закрытые платные API. 🛠 Как применить Call-центр, подкасты, куча созвонов — разворачиваете модель локально и получаете саммари с таймкодами и разбором эмоций клиента без подписки на зарубежный API и без утечки записей за периметр компании. 💡 Вывод Пока все обсуждают, кто круче генерирует музыку и голос, Сбер тихо выкатил модель, которая учится слушать и понимать. Причём в открытую и почти на уровне мировых лидеров. https://habr.com/ru/companies/bothub/news/1059032/ Нужен виртуальный сотрудник, бот или сайт → https://aleksandrmyasoed.ru/?utm_source=max&utm_medium=post