ERNIE 4.5: особенности обучения мультимодальной модели
ERNIE 4.5: особенности обучения мультимодальной модели В техническом отчёте Baidu представлены два независимых пайплайна алаймента — для языковых (LLM) и визуальных (VLM) моделей. После дополнительного обучения модели становятся гибридными и могут работать как с ризонингом, так и без него. Однако авторы не раскрывают взаимосвязь между LLM и VLM и их взаимное влияние на метрики. В LLM-направлении используется SFT и многостадийный RL с различными типами ревордов: rule-based для ризонинг-задач, верифицируемые (например, запуск кода), LLM-as-a-judge (оценка ответов отдельной моделью) и Bradley-Terry-реворд с ground truth. Вместо GRPO применяется UPO — комбинация онлайн- и офлайн-обучения, что позволяет избежать переобучения на шумных сигналах. VLM-линия включает три этапа SFT: начальный текстовый ризонинг, отбор мультимодальных сэмплов с помощью reward-моделей и обучение на смеси thinking- и non-thinking-данных. Для RL используются model-based-сигналы и верифицируемые задачи, например, генерация HTML по скриншоту с автоматической проверкой. Результаты показывают, что текстовые модели ERNIE 4.5 превосходят DeepSeek V3 на основных бенчмарках и после дополнительного обучения достигают уровня GPT-4 в instruction-following и работе с длинным контекстом. В мультимодальных задачах модель демонстрирует результаты, сопоставимые с Qwen 2.5-VL.