Под капотом Kimi K3: минимальная реализация
Под капотом Kimi K3: минимальная реализация Интересно, как устроена Kimi K3 изнутри? Появилась минимальная реализация архитектуры, которую легко читать, запускать на CPU или в Google Colab и сверять с оригинальным техотчетом — код доступен тут. В ней сохранены KDA, Gated MLA, Attention Residuals и Stable LatentMoE, но кое-что упростили ради наглядности.
33 просмотров