X-Fusion: новый подход к работе с текстом и изображениями
X-Fusion: новый подход к работе с текстом и изображениями В индустрии идёт унификация подходов к обработке разных видов данных. Модели VLM уже успешно решают многие задачи компьютерного зрения, генерируя текст на основе изображений и запросов. Следующий шаг — научить модели создавать изображения. Авторы статьи предлагают фреймворк X-Fusion, который объединяет две предобученные языковые модели (LLM): одну оставляют «замороженной» для работы с текстом, а вторую дообучают для обработки изображений. Для работы с изображениями используется кодирование через VAE от SD-1,5. Генерация текста происходит через предсказание следующего токена, а для создания изображений выбираются токены, которые затем обрабатываются диффузией и декодируются VAE. Авторы сравнили несколько архитектур и пришли к выводу, что вариант с двумя башнями (для текста и изображений) превосходит другие решения в задачах создания изображений. Однако генерация текста не помогает получать качественные подписи к изображениям. Также авторы выяснили, что зашумление входных латентов ухудшает качество распознавания изображений.