Как ShadowKV ускоряет инференс: оптимизация KV-кэша
Как ShadowKV ускоряет инференс: оптимизация KV-кэша Метод ShadowKV позволяет ускорить процесс инференса за счёт оптимизации KV-кэша. В его основе лежит наблюдение, что соседние токены часто имеют высокую схожесть, поэтому их можно разделить на группы (чанки) и представить каждой группой репрезентативные ключи (landmarks). Pre-RoPE K сжимается с помощью SVD, а V перемещается в оперативную память (CPU), что позволяет сэкономить ресурсы GPU. Токены, которые плохо вписываются в паттерн (outliers), сохраняются в полном виде. Достаточно небольшого процента бюджета (около 0,049%) на outliers, чтобы минимизировать потерю качества. На этапе prefill параллельно с основным процессом вычисляются landmarks и outliers, а V загружается в CPU. Это позволяет минимизировать увеличение критического пути, так как большая часть работы выполняется одновременно. В результате ShadowKV обеспечивает прирост скорости и позволяет работать с большими батчами. Оптимизация особенно эффективна на длинных контекстах, где вычислительная стоимость внимания растёт и становится основным фактором, замедляющим инференс.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии