Обучение DeepSeek-V4: ключевые моменты
Обучение DeepSeek-V4: ключевые моменты Продолжаем разбираться в техническом отчёте DeepSeek-V4. При сборе данных для претрейна разработчики сосредоточились на датасетах с большими и значимыми контекстами, включая кодовые и математические наборы. Общий объём датасета достиг 32 триллионов токенов. Контент, созданный другими моделями, специально отфильтровывался, чтобы не попасть в обучающую выборку. Интересно, что для AdamW были установлены необычные гиперпараметры: β1 = 0,9, β2 = 0,95, ε = 10−20. Размер батча на претрейне составил 75 миллионов токенов. Обучение проходит с постепенным увеличением размера батча: от 16 тысяч до миллиона токенов. На первом миллионе токенов модель обучается исключительно с dense-аттеншеном. В посттрейне используются три режима обучения моделей-специалистов: non-think (для быстрых ответов), think high (для вдумчивого анализа) и think max (для максимально тщательного ризонинга). В последнем случае модель должна всесторонне разобрать проблему, проверить логику на всех возможных ситуациях и сценариях. Разработчики также создали свою схему тул-коллинга с использованием DMSL-токена и формата .xml. Благодаря большому контекстному окну модель может удерживать весь контекст как в диалоговых сценариях, так и при вызове инструментов. Ссылки из исходного поста: технический отчёт | прошлый раз | Душный NLP Материалы по ссылкам: 1. Технический отчёт DeepSeek-V4 — часть 1/2 Что в статье: DeepSeek-V4 представлен в двух версиях: Pro на 1,6 триллиона параметров и Flash на 248 миллиардов параметров. В моделях использованы архитектурные изменения, включая Manifold-Constrained Hyper-Connections (mHC) и два варианта аттеншена: Compressed Sparse Attention (CSA) и Heavily Compressed Attention (HCA). CSA и HCA позволяют оптимизировать хранение KV-кэша и повысить качество на длинных контекстах. Для ускорения инференса и уменьшения задержки используется MegaMoE — CUDA-имплементация мега-кернела, которая поддерживает метод квантования W4A8 и позволяет получить ускорение в 1,5–1,73 раза на инференсе. Источник материала: ссылка 2. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Предоставляет подробную и полезную информацию. Источник материала: ссылка Источник: оригинальный пост