Google представила EmbeddingGemma 2 — открытую встраиваемую модель под лицензией Apache...
Google представила EmbeddingGemma 2 — открытую встраиваемую модель под лицензией Apache 2.0 (веса на Hugging Face) для векторного поиска. EmbeddingGemma 2 построена на основе Gemma 4 и состоит из отдельных блоков, которые можно загружать только при необходимости. Базовая часть для текста и кода весит 270 млн параметров (130 млн приходится на трансформер и 140 млн на слой эмбеддингов). Если добавить энкодер изображений и видео на 170 млн параметров, модель вырастает до 440 млн. С аудиоэнкодером на 300 млн получается 570 млн, а полная мультимодальная версия со всеми блоками содержит 740 млн параметров. Главный прирост по сравнению с первой версией заметен в работе с кодом. На MTEB Code модель набрала 78,68 балла против 68,76 у EmbeddingGemma 1, а на мультиязычном MTEB результат остался примерно на прежнем уровне: 61,36 против 61,15. Модель понимает более 100 языков (включая русский) и обрабатывает контекст до 8192 токенов, чего хватает на несколько минут аудио или видео. Благодаря технологии Matryoshka Representation Learning векторы можно обрезать с 768 до 512, 256 или 128 измерений. Это напрямую снижает объем векторной базы, вплоть до 6 раз, сохраняя около 95% качества при поиске по изображениям, видео и речи. Плюс модель умеет подстраивать эмбеддинги под задачу с помощью коротких текстовых префиксов: для поиска, классификации, кластеризации или оценки семантической близости используются разные инструкции. 😅 Канал Serverflow в MAX: Подписаться