Step 3.5 Flash: особенности архитектуры MoE-модели
Step 3.5 Flash: особенности архитектуры MoE-модели Step 3.5 Flash — опенсорсная MoE-модель с 196 миллиардами параметров, из которых 11 миллиардов активные. Модель демонстрирует конкурентные результаты по сравнению с более крупными опенсорсными и проприетарными моделями. Основная цель разработчиков — создать модель с низкой задержкой для агентских сценариев. Для этого применяются гибридный механизм внимания, sparse MoE и Multi Token Prediction (MTP). Модель включает 45 слоёв и использует схему 3:1 — три слоя с механизмом скользящего окна (sliding-window attention, SWA) на один слой с классическим полным вниманием (full attention, FA). Также применяется Grouped Query Attention с восемью KV-головами (GQA-8), что позволяет эффективно распределять KV-кэш на стандартных нодах с восемью GPU. Разработчики столкнулись с несколькими проблемами при обучении модели: спайки в лоссе, «мёртвые» и «взрывные» эксперты. Для решения проблем с лоссом сменили тип данных с bfloat16 на float16, а для борьбы с «взрывами» активаций использовали клиппинг на выходные активации и веса экспертов.