Улучшение квантизации FP4: новые подходы к ускорению LLM
Улучшение квантизации FP4: новые подходы к ускорению LLM Инженеры Yandex Research совместно с коллегами из Institute of Science and Technology Austria, Red Hat AI и ETH Zürich представили исследование по квантизации FP4. Квантизация позволяет сократить объём памяти для хранения данных, например, за счёт выбора весов активации из ограниченной сетки значений. Новые 4-битные форматы с плавающей точкой для хранения весов и активаций могут ускорить инференс больших языковых моделей (LLM) без потери качества. Однако современные методы часто не справляются с FP4 из-за малого размера групп квантизуемых весов и снижения точности при квантизации скейлов. В работе предложена улучшенная версия алгоритма квантования GPTQ — MR-GPTQ, которая включает определение эффективной сетки квантования, статическое определение порядка квантизации весов и использование блочно-диагональных Адамаровых поворотов для вращений активаций во время инференса. Эти модификации повышают точность квантования и ускоряют работу моделей.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии