FocusGUI
FocusGUI Легкий адаптер для омнимодальных GUI-агентов. Держит внимание на том, что решает текущий шаг, и не дает траектории уехать в сторону. • Семь каналов: текст с историей, экран, звук, видео, состояние взаимодействия, скрытые признаки, пространственные признаки экрана • Вес каналов пересчитывается на каждом шаге под текущее решение • Все нужное сжимается в латент на 64 числа и подмешивается в эмбеддинги декодера • Базовая модель заморожена, обучается только адаптер • Обучение по следующему действию, разметка релевантности не нужна fyzhang1.github.io/FocusGUI #computeruse #agent
37 просмотров