Как оптимизировать претрейн VLM: баланс текста и мультимодальных данных
Как оптимизировать претрейн VLM: баланс текста и мультимодальных данных В статье исследуется, как лучше организовать претрейн для VLM-моделей. Авторы рассматривают, на каком этапе и в каких пропорциях стоит подключать мультимодальные данные, чтобы модель была эффективной как в текстовом, так и в мультимодальном режимах. Один из вопросов — когда останавливать претрейн LLM. Традиционно сначала полностью обучают LLM, а затем добавляют мультимодальный претрейн. Однако авторы предлагают прерывать обучение LLM на определённом проценте (например, 80%) и далее продолжать на смеси текстовых и мультимодальных данных, сохраняя текущий learning rate. Такой подход показывает лучшие результаты. Также исследуется оптимальное соотношение текстовых и мультимодальных данных. Выясняется, что 10–20% мультимодальных данных — это оптимальный вариант для претрейна. При этом многое зависит от качества данных и представленных в них доменов. Ещё один аспект — использование инструктивных примеров и количество эпох на SFT. Авторы отмечают, что четыре эпохи оптимальны в их случае, но результаты могут варьироваться в зависимости от качества данных.