Исследователи представили Ovis-Embedding — семейство эмбеддингов нового поколения, объе...
Исследователи представили Ovis-Embedding — семейство эмбеддингов нового поколения, объединяющее текст, изображения, видео и аудио в едином векторном пространстве. В отличие от традиционных подходов с отдельными башнями для каждой модальности, модель использует общий мультимодальный бэкбон на базе Qwen-omni. Ключевые инновации включают нативную инициализацию через контрастивное обучение, специализированный датасет с выборкой однородных источников и оптимизацию вывода с помощью фокус-потери и дистилляции сходства. Это позволяет создавать компактные эмбеддинги с гибкой размерностью. Оценка на бенчмарках MMEB-v3, MVEB, MAEB и RTEB показала state-of-the-art результаты, подтверждая эффективность унифицированного обучения для универсального поиска между любыми модальностями. 🔹 Первый Нейронный