SpinQuant: новый подход к квантизации больших языковых моделей
SpinQuant: новый подход к квантизации больших языковых моделей Meta представила решение SpinQuant для квантизации больших языковых моделей (LLM). Оно конкурирует с разработкой QuaRot и отличается тем, что квантует не только веса и активации, но и KV-кэш. Это позволяет достичь современных результатов (SOTA) в квантизации w4a4kv4 и обеспечить высокую производительность даже на обычных «макбуках». Основная идея SpinQuant — устранение проблем с выбросами в активациях attention. Для этого до и после каждого линейного слоя модели добавляются обучаемые матрицы поворота. Благодаря этому квантизация проводится без потери качества. Однако использование матриц поворота требует дополнительных ресурсов. Чтобы оптимизировать процесс инференса, некоторые матрицы вращения вмёрживаются в матрицы весов. Но не все вращения поддаются такой оптимизации — некоторые матрицы, например R3 и R4, добавляются отдельной операцией с использованием случайных матриц Адамара.