Как улучшить восприятие и рассуждение в мультимодальных моделях
Как улучшить восприятие и рассуждение в мультимодальных моделях Качество мультимодальных моделей зависит от трёх компонентов: знаний, восприятия изображений и способности делать выводы. Рассмотрим несколько подходов к улучшению этих аспектов. Для согласования текстовых и визуальных данных авторы предлагают использовать дивергенцию Коши-Шварца. Это помогает решить проблему разделения эмбеддингов при обучении через InfoNCE. Чтобы удешевить стадию DPO, используют аугментации: к изображению добавляют элементы другого и генерируют preference-пары автоматически. Для этого применяют комбинацию ToMe-attention, mixup и SimPO. Исследования показали, что на качество мультимодальных моделей влияет текстовый претрейн. Например, для визуально-языкового рассуждения полезны код, математика и академические тексты. Также важно качество визуального энкодера. Для улучшения мультимодального рассуждения предлагают удлинить и структурировать фазу восприятия, переводя некоторые объекты с изображений в символьный вид. Также используют награды за правильное восприятие изображений и оценку качества цепочки рассуждений.