Step 3.5 Flash: мощная MoE-модель с 11 миллиардами активных параметров
Step 3.5 Flash: мощная MoE-модель с 11 миллиардами активных параметров Step 3.5 Flash — это опенсорсная MoE-модель с 196 миллиардами параметров, из которых 11 миллиардов — активные. Модель демонстрирует конкурентные результаты по сравнению с более крупными опенсорсными и проприетарными моделями. Её архитектура нацелена на снижение задержки для агентских сценариев и включает гибридный механизм внимания, sparse MoE и Multi Token Prediction (MTP). В модели 45 слоёв, в каждом MoE-слое — 288 routed-экспертов и один shared-эксперт. Для каждого токена активируются восемь routed-экспертов. Авторы используют схему 3:1 — три слоя со скользящим окном внимания (SWA) на один слой с классическим вниманием (FA). Также применяются Grouped Query Attention с восемью KV-головами (GQA-8) и тензорный параллелизм на восемь частей, что повышает утилизацию памяти. Во время претрейна авторы столкнулись с несколькими проблемами: спайками в лоссе, «мёртвыми» и «взрывными» экспертами. Для их решения они сменили тип данных с bfloat16 на float16, отслеживали различные метрики обучения и использовали клиппинг на выходные активации и веса экспертов. Ссылки из исходного поста: hf | Душный NLP Материалы по ссылкам: 1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters Что в статье: Step 3.5 Flash — это модель Sparse Mixture-of-Experts (MoE), которая объединяет передовой уровень агентского интеллекта и вычислительную эффективность. Она оптимизирована с помощью чередующегося 3:1 скользящего окна/полного внимания и Multi-Token Prediction (MTP-3) для снижения задержки и стоимости многоэтапных агентских взаимодействий. Модель достигает уровня передовых моделей, таких как GPT-5.2 xHigh и Gemini 3.0 Pro, демонстрируя высокие результаты в задачах, связанных с агентами, кодированием и математикой. Step 3.5 Flash использует масштабируемую структуру обучения с подкреплением, которая сочетает проверяемые сигналы с обратной Источник материала: ссылка 2. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. У канала более 6 411 подписчиков. Предоставляется возможность обсуждения через упоминания аккаунта @yandex_ml_brand. Источник материала: ссылка Источник: оригинальный пост