Как научить модели «думать» с учётом изображений
Как научить модели «думать» с учётом изображений Исследователи предложили метод, который помогает визуально-языковым моделям лучше учитывать изображения при решении задач. Проблема в том, что при обучении на синтетических данных модели часто игнорируют картинку и сосредотачиваются только на тексте. Например, при вычислении площади под графиком текстовая модель может не учесть, что часть площади идёт с минусом. Авторы разработали модель Reflection-V и специальный пайплайн. LLM-агент задаёт вопросы визуальной модели (VLM), уточняя детали изображения. Так формируется диалог, который затем преобразуется в логическую цепочку рассуждений. Для обучения используют фильтрацию и особый подход с наградой за внимание к изображению. Тесты показали, что версии Reflection-V-3B и Reflection-V-7B на базе Qwen2.5-VL превосходят открытые ризонёры и даже внутренние модели Qwen.