Тестирование TurboQuant: плюсы и минусы метода квантизации
Тестирование TurboQuant: плюсы и минусы метода квантизации В блоге vLLM провели детальное тестирование метода квантизации TurboQuant. Исследователи проверили его на трёх разных архитектурах моделей и измерили производительность. Выяснилось, что варианты k8v4 и 4bit-nc показывают хорошие результаты: они почти не теряют в качестве, при этом сокращая занимаемое место на 15–35 % по сравнению с fp8 кэшем. Однако при переходе к трёхбитной квантизации качество значительно ухудшается, особенно в задачах, требующих понимания длинного контекста. С точки зрения производительности результаты менее утешительны: хотя размер KV кэша уменьшается, это приводит к снижению пропускной способности на 10–70 % из-за постоянной деквантизации. Таким образом, TurboQuant может быть полезен для локального инференса, но для серверов он не подходит.