R

RAG | Нейросети | ИИ | AI | Агенты | Kimi K3.1 Pro | Gemini 4 Carbon | Claude Haiku 5.5 | Mistral Large 4 | Muse Wonder | LongCat-2.5 | GPT-6 Cyber | ERNIE 5.5 | Genie 4 | Muse Spark | JEPA | Flint

IT и технологии · 28 июля 2026 г.

Открыть канал в MAX

Модель на 671 млрд параметров, а жрёт как 37-миллиардная. Секрет — Mixture of Experts.

Модель на 671 млрд параметров, а жрёт как 37-миллиардная. Секрет — Mixture of Experts. Обычная модель гоняет каждый токен через все слои. MoE умнее: роутер выбирает 1–2 эксперта-подсети под токен, остальные не вычисляются. Работает малая часть модели — отсюда скорость. Mixtral 8x7B: 46.7B всего → 12.9B активных. DeepSeek-V3: 671B → 37B — на уровне GPT-4o при меньших затратах. Расплата — VRAM: все эксперты в памяти разом. Но для инференса это прорыв.