WeVisOne-VL: унифицированная модель для точного визуального восприятия
WeVisOne-VL: унифицированная модель для точного визуального восприятия Современные мультимодальные модели, объединяющие обработку текста и изображений, часто справляются с грубыми задачами вроде классификации, но теряют точность, когда требуется детальное понимание визуальной сцены. Новый подход WeVisOne-VL (WeChat Vision All-in-One) предлагает решение, объединяя восприятие объектов и пикселей в единой архитектуре. Модель построена на принципе структурированного предсказания следующего токена: она учится предсказывать не только слова, но и визуальные элементы — координаты, маски, альфа-каналы. Это позволяет ей выполнять широкий спектр задач: обнаружение объектов, локализацию по текстовому описанию, подсчет предметов, распознавание текста (OCR), сегментацию и выделение объектов (matting). Пользователь может указать уровень детализации — от точки и рамки до полной маски или альфа-канала. В отличие от многих существующих моделей, которые специализируются на одной задаче, WeVisOne-VL демонстрирует универсальность, сохраняя при этом высокую точность на тонких визуальных различиях. Это делает её перспективной основой для приложений, где важна не только общая семантика, но и пространственная структура изображения, например, в автоматизированной обработке документов, редактировании фото или робототехнике. Репозиторий: https://github.com/Tencent/WeVisOne-VL Главное: • Объединяет объектное и пиксельное восприятие в одной модели • Поддерживает детекцию, сегментацию, OCR и matting • Позволяет задавать произвольную гранулярность локализации • Основана на структурированном предсказании следующего токена #ИИ #КомпьютерноеЗрение #МультимодальныеМодели #OpenSource