Kimi K2: особенности крупной MoE-модели
Kimi K2: особенности крупной MoE-модели Рассмотрим модель Kimi K2 с триллионом параметров. У неё 384 эксперта (в полтора раза больше, чем у DeepSeek-V3) и 64 головы аттеншена (в два раза меньше, чем у DeepSeek-V3). Создатели вводят понятие sparsity — разницу между общим количеством экспертов и активными. У Kimi K2 этот показатель равен 48, а у DeepSeek-V3 — 36. По утверждению авторов, увеличение sparsity улучшает validation loss, но усложняет инфраструктуру. На этапе претрейна применялся алгоритм Muon с быстрым преобразованием к ортогональной матрице. Для решения проблемы «взрыва» логитов аттеншена авторы установили максимальные логиты для каждой головы и провели рескейлинг матриц. Также данные перефразировались с помощью промптов: большие тексты разбивались на фрагменты, которые переписывались и использовались как контекст для следующих фрагментов. После десяти перефразирований и одной эпохи результаты на SimpleQA улучшились более чем на пять пунктов. На пострейне использовали 3000 MCP-тулов с GitHub и 10 тысяч синтетических инструментов. Сгенерированные агенты получали задачи, а их оценка происходила в режиме LLM-as-a-Judge. Успешные траектории стали базой для обучения.