Kimi-K3: новый масштаб открытых моделей — 3 августа 2026 г. в 10:30:03.190
Kimi-K3: новый масштаб открытых моделей 👋 Kimi-K3 — мультимодальная MoE-модель Moonshot AI с 2,8 трлн параметров, контекстом до 1 млн токенов и открытыми весами. Это первая открытая модель класса 3T — масштаб, который до сих пор оставался преимущественно за закрытыми системами. 🚀 Релиз уже стал заметным событием для сообщества: за первые дни преодолела отметку 8 тыс. лайков, а сейчас приближается к 10 тыс. Что важно: ▪️ KDA + Gated MLA 69 слоёв используют компактное рекуррентное внимание KDA, а 24 слоя Gated MLA сохраняют глобальную работу с контекстом. Гибридная схема рассчитана на последовательности длиной до 1 млн токенов. ▪️ Attention Residuals Модель не просто передаёт residual-состояние от слоя к слою, а выборочно извлекает представления из предыдущих уровней. Это помогает управлять потоком информации в сети глубиной 93 слоя. ▪️ Stable LatentMoE Перед передачей экспертам активации сжимаются в латентное пространство вдвое меньшей размерности. В результате из 2,8 трлн параметров на токен активируется 104 млрд, а вычисления и коммуникации между экспертами остаются управляемыми. 📲 Подробнее о KDA, Attention Residuals, Stable LatentMoE и результатах модели — в слайдах. ➡️ Перейти на страницу Kimi-K3 ➡️ Посмотреть другие модели в каталоге Immers Foundation Models