Что, если для распознавания эмоций недостаточно услышать голос или увидеть выражение лица?
Что, если для распознавания эмоций недостаточно услышать голос или увидеть выражение лица? Ученые СПб ФИЦ РАН, НИУ ВШЭ и Центра практического ИИ Сбера разработали нейросеть, которая анализирует поведение человека сразу по нескольким признакам: она учитывает видео, голос и содержание речи, а также описание мимики, взгляда, позы и жестов. Старший научный сотрудник Лаборатории речевых и мультимодальных интерфейсов СПб ФИЦ РАН Елена Рюмина объясняет: «Для оценки воспринимаемых черт личности особенно важно видео, а для выявления амбивалентности – содержание речи. Поэтому мы объединили в модели общие компоненты, которые формируют связи между разными модальностями, и специализированные – они выделяют наиболее важную информацию для решения каждой задачи». Исследователи продолжают работу над адаптивностью нейросети. В перспективе она может стать основой для персонализированных цифровых аватаров, способных подстраивать речь, мимику и поведение под эмоциональное состояние пользователя.