Архитектурные новшества в DeepSeek-V4
Архитектурные новшества в DeepSeek-V4 DeepSeek-V4 представлена в двух версиях: Pro с 1,6 триллиона параметров и Flash с 248 миллиардов параметров. В модели внедрены несколько ключевых архитектурных изменений. Например, Manifold-Constrained Hyper-Connections (mHC) регулирует спектральную норму проекций, а два вида аттеншена — Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA) — оптимизируют обработку длинных контекстов и использование ресурсов. CSA использует скользящее окно и сжатие токенов, а HCA сжимает токены в KV-кэш, что позволяет существенно сократить объём занимаемой памяти. Кроме того, в модели применяются QK-нормы для стабильности, частичный RoPE и вспомогательная ветвь SWA. Ещё одно нововведение — MegaMoE, которое ускоряет инференс и снижает объём занимаемой памяти на GPU благодаря квантованию W4A8. Для разработки MegaMoE использовали TileLang с интегрированным Z3 SMT Solver, что позволило оптимизировать выполнение коммуникаций и вычислений.