SpinQuant: как квантизация ускоряет работу LLM
SpinQuant: как квантизация ускоряет работу LLM Продолжаем рассказывать о SpinQuant — передовом методе квантизации LLM. Он демонстрирует высокую эффективность даже на MacBook. Авторы предлагают два способа убедиться в работоспособности метода: визуальный (попарное сравнение тензоров до и после вращения) и статистический (оценка эксцесса — метрики количества выбросов). После применения метода метрика становится стабильнее, а её величина уменьшается. По словам разработчиков, метод не уступает по производительности другим современным решениям. Тестирование модели LLaMA-3 8B на MacBook M1 Pro показало, что 4-битное квантование ускоряет работу примерно в три раза по сравнению с 16-битной моделью. Подобного ускорения можно добиться и на GPU, но только если видеокарта поддерживает быстрое вычисление 4-битного GeMM на тензорных ядрах. К сожалению, NVIDIA не предоставляет такую возможность на архитектуре Hopper, хотя на других архитектурах она доступна.