ИД

ИИ для чайников

IT и технологии · 22 июня 2026 г.

Открыть канал в MAX

Оптимизация KV-кэша: как ускорить инференс LLM

Оптимизация KV-кэша: как ускорить инференс LLM Существует несколько способов ускорить инференс больших языковых моделей (LLM). Помимо изменения архитектуры, использования speculative decoding и добавления вычислительных ресурсов, можно оптимизировать KV-кэш. Этот подход делится на два типа: pre-train и post-train. Pre-train требует изменений до обучения модели — например, применения архитектурных решений вроде GQA/MQA/MLA или смешивания глобального и локального атеншена. Такие методы обычно дорогостоящие из-за необходимости переобучения. Post-train-методы применяются к уже готовым моделям. К ним относятся sparse-стратегии, pruning, удаление повторов токенов и другие техники, которые уменьшают объём KV-кэша или сокращают число обращений к нему во время инференса. KV-бюджеты можно разделить на dense и sparse для prefill и decode. Разные комбинации этих подходов дают различные результаты: например, sparse на prefill и dense на decode подходят для сценариев с длинным промптом и коротким ответом, а sparse на обоих этапах обеспечивают максимальную экономию, но могут ухудшать качество. В следующей части мы подробнее рассмотрим метод ShadowKV — один из эффективных post-train-методов оптимизации KV-кэша, который позволяет увеличить throughput до трёх раз без дообучения.