Xiaomi-Lens-0: как модель учится понимать детали изображений
Xiaomi-Lens-0: как модель учится понимать детали изображений Современные мультимодальные большие языковые модели (MLLM) неплохо отвечают на вопросы о целых изображениях, но испытывают трудности с пониманием мелких деталей и отдельных областей. Основная причина — текстовое обучение не указывает, какие именно регионы изображения подтверждают ответ. Чтобы решить эту проблему, исследователи представили Xiaomi-Lens-0 — компактную модель с 4 миллиардами параметров, построенную на основе Qwen3.5. Xiaomi-Lens-0 предсказывает маски (области изображения) на основе собственных визуальных представлений. Лёгкий декодер объединяет признаки патчей из визуального энкодера с визуальными латентными переменными, что позволяет модели сопоставлять ответы с конкретными участками изображения. Такой подход улучшает точность распознавания деталей, сохраняя при этом эффективность. Модель доступна как open-source проект, что позволяет исследователям и разработчикам использовать её в своих задачах. Это шаг к более точному пониманию изображений, что важно для приложений вроде анализа медицинских снимков, распознавания объектов и автоматического описания сцен. Главное: • Модель предсказывает маски для точного сопоставления ответов с областями изображения. • Построена на Qwen3.5, имеет 4 млрд параметров. • Лёгкий декодер объединяет признаки энкодера и визуальные латентные переменные. • Open-source доступность ускоряет внедрение и развитие. #ИИ #Мультимодальность #КомпьютерноеЗрение #OpenSource