Архитектурные новшества в DeepSeek-V4
Архитектурные новшества в DeepSeek-V4 DeepSeek-V4 представлена в двух версиях: Pro с 1,6 триллиона параметров и Flash с 248 миллиардами параметров. В модели внедрены новые технологии, которые улучшают её работу с длинными текстами и оптимизируют использование ресурсов. Одно из ключевых нововведений — Manifold-Constrained Hyper-Connections (mHC), которое помогает стабилизировать обучение и улучшить масштабируемость. Также введены два варианта механизма внимания: Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA), которые оптимизируют хранение KV-кэша и повышают эффективность использования памяти. Для ускорения работы и снижения нагрузки на GPU используется MegaMoE с поддержкой квантования W4A8. Это позволяет уменьшить объём занимаемой памяти и ускорить инференс. Кроме того, разработчики уделили внимание batch-invariance и детерминизму, что упростило отладку и проведение экспериментов. Для программирования кернелов применена модель TileLang, которая помогает оптимизировать выполнение коммуникаций и вычислений. Формат данных MXFP4 используется для хранения весов, обеспечивая деквантование до blockwise FP8 без потерь. Ссылки из исходного поста: технический отчёт | RingAttention | Душный NLP Материалы по ссылкам: 1. mHC: Manifold-Constrained Hyper-Connections Что в статье: Предложен метод Manifold-Constrained Hyper-Connections (mHC) для восстановления свойства идентичности отображения, присущего остаточным соединениям, при расширении их пространства за счёт проекции на специфический многообразие. Метод направлен на устранение нестабильности при обучении и ограничений масштабируемости, возникающих при диверсификации паттернов связности в Hyper-Connections (HC). В рамках метода также проводится оптимизация инфраструктуры для обеспечения эффективности. Эксперименты показали эффективность mHC при масштабном обучении, улучшение производительности и масштабируемости. Источник материала: ссылка 2. TileLang: A Composable Tiled Programming Model for AI Systems Что в статье: TileLang — обобщённая модель программирования для более эффективного создания ядер искусственного интеллекта (AI Kernel). TileLang отделяет пространство планирования (привязку потоков, компоновку, тензоризацию и конвейерную обработку) от потока данных и инкапсулирует их в виде набора аннотаций и примитивов для настройки. Подход позволяет сосредоточиться на потоке данных ядра, оставляя большинство других оптимизаций компиляторам. Эксперименты показали, что TileLang может достигать современных показателей производительности в ключевых ядрах. Источник материала: ссылка 3. Ring Attention with Blockwise Transformers for Near-Infinite Context Что в статье: Представлен новый подход Ring Attention with Blockwise Transformers (Ring Attention), который использует блочное вычисление для самовнимания и прямой передачи сигналов. Это позволяет распределять длинные последовательности по нескольким устройствам. Подход обеспечивает обучение и вывод последовательностей, длина которых может быть увеличена в соответствии с количеством устройств, по сравнению с предыдущими эффективными с точки зрения памяти трансформерами. Эксперименты на задачах языкового моделирования и обучения с подкреплением демонстрируют эффективность подхода в работе с контекстом размером в миллионы токенов. Источник материала: ссылка 4. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Предоставляет подробную и полезную информацию. Источник материала: ссылка Источник: оригинальный пост