Step 3.5 Flash: особенности обучения модели
Step 3.5 Flash: особенности обучения модели Продолжим разбор технического отчёта о модели Step 3.5 Flash. Обучение модели состояло из нескольких этапов: предварительное обучение (pretrain), сведение (annealing), две стадии мидтрейна и посттрейн. На этапе pretrain модель обучалась базовым способностям на 14,6 трлн токенов с контекстом 4 тыс. символов. Затем происходило сведение для усиления рассуждений и знаний (3 трлн токенов, контекст расширен до 32 тыс. символов). Для посттрейна создали SFT-базу в два этапа: сначала включили общие знания, затем настроили модель на узкие темы, например, экспертную химию и синтетическую арифметику. Финальный датасет содержал 7,23 млрд токенов, 38,8% из которых — код. Авторы столкнулись с нестабильностью при обучении и применили несколько методов для её стабилизации, включая Metropolized Independent Sampling. Этот метод позволяет исключать из обучения токены с слишком высокой или низкой активностью, а также траектории с активациями выше или ниже определённого порога. Модель показывает хорошие результаты в математических задачах, но в других областях есть некоторые просадки. В конце мая вышла версия Step 3.7 Flash, которая превосходит Step 3.5 во всех бенчмарках, а в SimpleVQA обходит даже GPT-5.5. Ссылки из исходного поста: техрепорт | прошлый раз | Душный NLP Материалы по ссылкам: 1. Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters Что в статье: Step 3.5 Flash — это модель Sparse Mixture-of-Experts (MoE), которая объединяет передовой уровень агентского интеллекта и вычислительную эффективность. Она оптимизирована с помощью чередующегося 3:1 скользящего окна/полного внимания и Multi-Token Prediction (MTP-3) для снижения задержки и стоимости многоэтапных агентских взаимодействий. Модель достигает уровня передовых моделей, таких как GPT-5.2 xHigh и Gemini 3.0 Pro, демонстрируя высокие результаты в задачах, связанных с агентами, кодированием и математикой. Step 3.5 Flash использует масштабируемую структуру обучения с подкреплением, которая сочетает проверяемые сигналы с обратной Источник материала: ссылка 2. Технический отчёт Step 3.5 Flash — часть 1/2 Что в статье: Step 3.5 Flash — опенсорсная MoE-модель на 196 миллиардов параметров, из которых 11 миллиардов активные. Модель демонстрирует конкурентные результаты в сравнении с более крупными моделями. Архитектура модели включает гибридный механизм внимания, sparse MoE и Multi Token Prediction (MTP). Используется схема 3:1 — три последовательных слоя внимания с механизмом скользящего окна (sliding-window attention, SWA), а каждый четвёртый — с классическим (full attention, FA). Для борьбы с нестабильностями в обучении авторы использовали клиппинг на выходные активации и на веса экспертов. Источник материала: ссылка 3. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Предоставляет подробную и полезную информацию. Имеет более 6 408 подписчиков. Источник материала: ссылка Источник: оригинальный пост