Обучение модели DeepSeek-V4: ключевые особенности
Обучение модели DeepSeek-V4: ключевые особенности Продолжаем разбираться в техническом отчёте DeepSeek-V4 и сегодня поговорим об обучении модели. При сборе данных для претрейна используются датасеты с большими и значимыми контекстами, а также кодовые и математические наборы. Общий объём датасета достиг 32 триллионов токенов, при этом контент, созданный другими моделями, был отфильтрован. Для претрейна установлены специфические гиперпараметры AdamW: β1 = 0,9, β2 = 0,95, ε = 10−20. Размер батча на претрейне — 75 миллионов токенов. Обучение происходит с постепенным увеличением размера батча: от 16 тысяч до миллиона токенов. На первом миллионе токенов модель обучается с dense-аттеншеном. В посттрейне используются три режима обучения моделей-специалистов: non-think для быстрых ответов, think high для вдумчивого анализа и think max для глубокого ризонинга. В последнем режиме модель тщательно анализирует задачу, проверяя логику на всех возможных ситуациях. Разработчики ввели специальный DMSL-токен для тул-коллинга и используют .xml в качестве формата. Благодаря большому контекстному окну модель удерживает весь контекст в диалоговых сценариях и при вызове инструментов. Несколько обученных специалистов дистиллируются в отдельную модель с помощью KL-дивергенции.