Н

Нейронавт | Нейросети в творчестве

IT и технологии · 4 ноября 2026 г.

Открыть канал в MAX

agent-desktop

agent-desktop Computer use для ИИ-агентов без скриншотов от Vercel Labs. Агент читает дерево доступности приложения, а не разглядывает картинку дерево элементов это десятки строк текста вместо мегабайтов пикселей, и каждая кнопка уже подписана. Если интерфейс поменялся, действие вернет ошибку устаревшей ссылки, и агент сделает новый снимок. • Дерево интерфейса отдается в JSON, у каждого элемента свой ref • Клик и ввод идут по ref, потом агент заново читает интерфейс и проверяет результат • Сам цикл живет в вашем агенте, модели внутри нет • Работает на macOS, Windows и Linux • По умолчанию действия без движения курсора и без перехвата фокуса, то есть можно работать параллельно • Для физического ввода есть флаг headed • Есть снимки экрана, буфер обмена, трейсы и оверлей с курсором • Ставится через npm, есть Homebrew • В комплекте нативные бинарники под x64 и ARM64 • Поставляется как CLI и как библиотека на C #agent #computeruse