Qwen2.5-Coder: особенности обучения модели для генерации кода
Qwen2.5-Coder: особенности обучения модели для генерации кода Qwen2.5-Coder — семейство моделей, предназначенных для генерации кода. Модель обучалась работать как с отдельными файлами, так и с целыми репозиториями. Для токенизации использовали словарь Qwen2.5, дополнив его спецтокенами, в том числе для режима Fill-in-the-Middle (FIM). В датасете для допретрейна были данные пяти типов: код на 92 языках программирования, документация и руководства, синтетические данные, математические данные и текст. Лучше всего себя показала пропорция кода, математики и текста — 7:2:1. Обучение проходило в два этапа: сначала на уровне файлов с контекстным окном до 8 тысяч токенов, затем на уровне репозиториев — с окном до 32 тысяч токенов. Для экстраполяции до 128 тысяч токенов применяли технику YARN. Одним из самых сложных элементов разработки стала мультиязычная «песочница», которая требует поддержки 92 языков программирования и постоянной доработки. Для её создания привлекли экспертов, что сделало проект ресурсозатратным.