InternVL3.5: новые возможности мультимодальных моделей
InternVL3.5: новые возможности мультимодальных моделей Авторы семейства InternVL представили обновлённую версию своей мультимодальной модели — InternVL3.5. В новой версии реализованы три ключевых нововведения, которые улучшают производительность и эффективность модели. Первое из них — каскадное обучение (Cascade Reinforcement Learning), которое сочетает offline и online обучение. Это позволяет достичь лучшего качества модели при более быстром обучении: offline RL обучается в 20 раз быстрее online RL, а совместное каскадное обучение даёт результаты лучше, чем у online RL. Второе нововведение — Visual Resolution Router (ViR). Оно снижает вычислительную нагрузку на модель во время инференса за счёт уменьшения количества визуальных токенов. В результате количество токенов, поступающих в LLM, сокращается на 50%, а скорость работы модели увеличивается до 4 раз. Третье улучшение — система DvD (Decoupled Vision-Language Deployment). Она позволяет обрабатывать изображения и текст параллельно, а не последовательно, что ускоряет работу модели до 2 раз для базовых версий и до 4 раз в комбинации с ViR. По заявлениям авторов, InternVL3.5 рассуждает на 16% эффективнее и работает в 4,05 раза быстрее своих предшественников.