ИД

ИИ для чайников

IT и технологии · 22 июня 2026 г.

Открыть канал в MAX

Quartet II: новый метод обучения моделей в формате NVFP4

Quartet II: новый метод обучения моделей в формате NVFP4 В последние годы наблюдается тенденция к снижению точности при обучении моделей ИИ. Если раньше использовался формат BF16, то сейчас переходят на FP8 и даже FP4. Для работы с FP4 разработан метод Quartet, который использует формат данных MXFP4 и случайные вращения тензоров для борьбы с аутлаерами. Однако появился новый формат — NVFP4, созданный NVIDIA специально для больших языковых моделей (LLM). Авторы задались вопросом: можно ли достичь несмещённых оценок градиентов в NVFP4 без использования шумного стохастического округления (SR)? Решение нашлось в использовании случайных вращений тензоров. Квантизация случайно повёрнутого тензора позволяет усреднить ошибку и получить коллинеарную оценку. После нормировки такая оценка становится несмещённой. Новый метод Quartet II объединяет более точную квантизацию на forward pass с другими улучшениями. В результате удаётся снизить ошибку вдвое по сравнению с простым SR. К статье прилагаются кернелы для 5090 и B200, чтобы можно было протестировать NVFP4 на своих моделях.