OLMo 3: открытый релиз и новые подходы в обучении моделей
OLMo 3: открытый релиз и новые подходы в обучении моделей Релиз OLMo 3 стал одним из самых открытых в этом году: разработчики предоставили не только исходный код и 6T токенов (Dolma 3), но и все промежуточные чекпоинты, а также информацию о порядке данных в батчах. Это делает модель отличным инструментом для исследовательских работ. В техническом отчёте представлены несколько интересных подходов: — Delta-DPO: авторы подтвердили, что для ризонинга важнее разница между выбранным и отвергнутым ответами, а не качество самого ответа. Обучение на контрасте между ответами Qwen-3 32B (chosen) и Qwen-3 0.6B (rejected) оказалось эффективнее классического SFT на идеальных данных. — OlmoRL: инфраструктура для RLVR была переписана и ускорена в 4 раза. Среди новшеств — обновление весов акторов во время генерации (Inflight updates) и динамический подбор задач в батч (Active sampling). — Model Souping: на разных этапах обучения авторы активно объединяли чекпоинты, что может свидетельствовать о нестабильности основного рецепта обучения. Флагманская 32B-Think модель показала сильные результаты в математике, приблизившись к Qwen-3 32B на MATH и AIME, но немного уступила в общих знаниях (MMLU). Обучение модели заняло 56 дней на кластере из 1024xH100 и обошлось примерно в $2.75 млн.