Исследователи МФТИ совместно с коллегами из AIRI и университета «Иннополис» разработали...
Исследователи МФТИ совместно с коллегами из AIRI и университета «Иннополис» разработали метод DyGEnc, позволяющий большим языковым моделям анализировать динамику видео. Технология сжимает происходящее в граф событий, где объекты связаны действиями, а затем передает эту структуру языковой модели для ответов на вопросы. Это необходимо для «умных» роботов в логистике, производстве и бытовом сервисе. Метод протестирован на международных базах данных. На наборе STAR (9 тысяч видео) алгоритм верно ответил на 99% вопросов о взаимодействии объектов и на 97% при прогнозировании действий. На более сложном AGQA (2,27 млн вопросов) точность открытых ответов достигла 93% после дообучения, тогда как без метода — лишь 54%. Алгоритм испытали на реальном роботе с манипулятором. Он выполнял задания на русском языке, например, «подъехать к столу и взять предмет», анализируя видео в реальном времени. Даже при шумах (удалении трети связей или замене слов синонимами) точность оставалась выше 90%. Исходный код метода опубликован в открытом доступе.