IceCache: оптимизация работы с памятью в больших языковых моделях
IceCache: оптимизация работы с памятью в больших языковых моделях IceCache — это метод управления KV-кэшем, который помогает эффективно работать с памятью при обработке длинных последовательностей в больших языковых моделях (LLM). Он решает проблему избыточной загрузки данных на GPU, перераспределяя токены в памяти на основе их семантической близости к опорным токенам, а не позиции. Это позволяет сократить объём данных, передаваемых между CPU и GPU, и уменьшить эффективный размер последовательности при вычислении внимания. В основе метода лежит структура данных DCI-tree, которая используется для распределения токенов по страницам памяти и выбора наиболее релевантных токенов на этапе декодирования. На этапе префилла KV-кэш переносится на CPU, а ключи индексируются с помощью DCI-tree. Затем, на этапе декодирования, определяются страницы с релевантными токенами и загружаются на GPU. Авторы реализовали DCI-tree на C и написали CUDA-кернел для копирования страниц из CPU-памяти. Код доступен на GitHub. Метод показывает высокие результаты: до 99% качества полного KV-кэша при бюджете в 256 токенов. Однако есть и недостаток — значительная часть времени декодирования уходит на поиск по DCI-tree на CPU. Для практического применения метода может потребоваться адаптация алгоритма поиска соседей под GPU.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии