Gemma-4-26B-A4B-it — первая open-weight MoE-модель Google в линейке Gemma — 20 апреля 2026 г. в 11:00:04.345
Gemma-4-26B-A4B-it — первая open-weight MoE-модель Google в линейке Gemma В каталоге immers.cloud появилась Gemma-4-26B-A4B-it — модель, которая делает ставку не на максимальный размер, а на эффективную архитектуру. При 25,2 млрд общих параметров на каждом токене активируется только 3,8–4 млрд, поэтому она даёт сильное качество без избыточных требований к инфраструктуре. Что здесь важно: ▪️ Первая MoE-модель Gemma: около 97% качества плотной версии 31B при заметно меньших вычислительных затратах. ▪️ Контекст до 256K токенов: подходит для больших документов и многошаговых сценариев. ▪️ Гибридное внимание: 30 слоёв и sliding window на 1024 токена для более эффективной работы с длинным контекстом. ▪️ Мультимодальность: модель работает не только с текстом, но и с изображениями. ▪️ Фокус на агентные задачи: подходит для систем, где модель должна анализировать, планировать и выполнять последовательность действий. ▪️ Высокая практическая скорость: пользователи отмечают до 162 токенов в секунду на RTX 4090. 📲 Подробнее — в слайдах. ➡️ Тестируйте Gemma-4-26B-A4B-it в каталоге immers.