Quartet II: новый метод обучения LLM в NVFP4
Quartet II: новый метод обучения LLM в NVFP4 В последние годы наблюдается тенденция к снижению точности при обучении моделей. Если раньше использовался формат BF16, то сейчас — FP8, а в будущем планируется переход на FP4. Однако снижение точности требует применения специальных методов. В новой статье представлен метод Quartet II, который позволяет точно обучать большие языковые модели (LLM) в формате NVFP4. Ранее был разработан метод Quartet для обучения в формате FP4, который использовал случайные вращения тензоров для борьбы с аутлаерами. Теперь же предложен способ достижения несмещённых оценок градиентов без использования шумного стохастического округления (SR) в FP4. Для этого используются случайные вращения тензоров, которые позволяют усреднить ошибку по всем возможным направлениям. Метод Quartet II интегрирован в схему полной NVFP4-квантизации для линейных слоёв и обеспечивает более точную оценку градиента при матричных умножениях. Он протестирован на обучении LLM с до 1,9 миллиарда параметров на 38 миллиардах токенов. Ядра для выполнения метода доступны для NVIDIA Blackwell GPUs, где он обеспечивает ускорение до 4,2 раз по сравнению с BF16. Подробнее можно ознакомиться со статьёй: Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation. Также доступны кернелы для тестирования: GitHub. Ссылки из исходного поста: black_samorez | Душный NLP Материалы по ссылкам: 1. Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation Что в статье: В статье представлен метод Quartet II для точного предварительного обучения LLM в формате NVFP4. Метод использует улучшенную несмещённую оценку градиента. Метод Quartet II интегрирован в схему полной NVFP4-квантизации для линейных слоёв. Аналитически показано, что Quartet II обеспечивает более точную оценку градиента при матричных умножениях. Метод протестирован на обучении LLM с до 1,9 миллиарда параметров на 38 миллиардах токенов. Предоставлены ядра для выполнения на NVIDIA Blackwell GPUs с ускорением до 4,2 раз по сравнению с BF16. Источник материала: ссылка 2. Quartet: Native FP4 Training Can Be Optimal for Large Language Models Что в статье: В статье представлен новый подход Quartet для точного обучения больших языковых моделей (LLMs) в формате FP4. Исследование включает разработку техники Quartet, оптимизированной для архитектуры NVIDIA Blackwell, которая позволяет проводить обучение LLMs в низкой точности без существенной потери в точности. Код реализации Quartet доступен на GitHub. Проведены обширные оценки на моделях типа Llama, которые позволили выявить новый закон масштабирования для низкой точности. Обучение LLMs в формате FP4 является конкурентоспособной альтернативой обучению в половинной точности FP16 и в формате FP8. Источник материала: ссылка 3. black_samorez Что в статье: У канала @black_samorez в Telegram 1 330 подписчиков. Доступ к каналу можно получить через Telegram. Источник материала: ссылка 4. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Канал предоставляет подробную и полезную информацию. У канала более 6 411 подписчиков. Источник материала: ссылка Источник: оригинальный пост