🤖 Новость · Habr
🤖 Новость · Habr Google DeepMind выпустила модель для перевода жестов в текст 🧭 Что произошло Google DeepMind представила модель SL2T для перевода американского жестового языка в текст. Она уже интегрирована в Gboard и Live Transcribe на устройствах Pixel 11, что позволяет пользователям использовать жесты для ввода текста. В будущем планируется расширить поддержку на другие устройства и языки. 🔢 Ключевые факты • Модель SL2T позволяет пользователям вводить текст через жесты с помощью камеры на устройствах Pixel 11. • Технология поддерживается в Gboard и работает как голосовая диктовка. • Модель построена на базе трансформера и генерирует перевод авторегрессионно. • Компания собрала более 100 тысяч часов данных, четверть которых приходится на ASL. • Модель обрабатывает видео локально, что увеличивает приватность пользователей. • SL2T не может отслеживать движение языка и не видит окружающие объекты. • В тесте FLEURS-ASL модель получила 70 баллов в режиме zero-shot. • Модель не хранит историю реплик и не поддерживает команды «удалить», «новая строка» или «отправить». ↗ Оригинал: https://habr.com/ru/news/1069920/