441EB: Как CPU спасает GPU от «памятного» коллапса LLM
441EB: Как CPU спасает GPU от «памятного» коллапса LLM 💡 В эпоху агентного кодинга, где AI-агенты обрабатывают десятки файлов и накапливают огромные истории диалогов, узким местом становится не вычислительная мощность, а память. Ключевым элементом здесь выступает KV Cache — промежуточные результаты внимания модели, необходимые для генерации новых токенов. Для модели Qwen3-8B объем кэша на один токен составляет около 147 КБ. При гипотетическом контексте в 1 миллион токенов это превращается в 147 ГБ данных. Если масштабировать это на 3 миллиона активных пользователей, ежедневно генерирующих по 10 запросов, суммарный объем KV Cache достигает 4410 ПБ в день. При росте аудитории до 300 миллионов пользователей этот показатель взлетает до 441 ЭБ. ⚡ Проблема в том, что видеопамять GPU (HBM) ограничена и должна делиться между весами модели и активными запросами. Когда кэш переполняет HBM, система вынуждена очищать старые данные. Если агенту снова нужна эта информация, GPU тратит время на повторный Prefill (пересчет префикса), что увеличивает время ожидания первого токена (TTFT) и снижает общую пропускную способность. В условиях, когда тысячи агентов работают одновременно, такие повторные вычисления становятся критическим фактором деградации производительности и роста операционных расходов. 🤔 Решение заключается в переходе от «вычислений» к «хранению». Вместо того чтобы держать всю историю в дорогой видеопамяти, данные можно распределять по иерархии: активные данные остаются в HBM, недавно использованные — в DDR-памяти CPU, а архивные — на SSD или в удаленном хранилище. CPU берет на себя управление этим процессом, отслеживая состояние сессий и решая, какие блоки кэша переместить. Однако простое перемещение данных создает риск: если чтение из памяти медленнее, чем пересчет, пользователь будет ждать дольше. Поэтому критически важна скорость сжатия и передачи данных. 🚀 Intel предлагает комплексное решение, включающее технологии KV Shrink, KV Fuse, KV Cascade и KV Infinity. Ключевым элементом является KV Shrink, который использует аппаратное ускорение QAT (QuickAssist Technology) в процессорах Xeon для сжатия KV Cache. Это позволяет освободить ядра CPU для других задач. Благодаря оптимизации формата хранения, сжатие становится более эффективным: объем данных уменьшается на 20–30% без потери качества (lossless compression). В тестах с моделью Qwen3-32B и GPU NVIDIA L20 технология KV Shrink обеспечила ускорение TTFT до 5 раз по сравнению с базовой конфигурацией vLLM, а производительность аппаратного сжатия QAT оказалась вдвое выше программного. 📌 Что это значит на практике: Для дата-центров это означает возможность обслуживать в разы больше одновременных запросов без закупки дополнительных GPU. Перенос «памяти» модели на CPU и использование аппаратного сжатия позволяют снизить нагрузку на видеопамять, уменьшить задержки (TTFT) и оптимизировать общие затраты на инфраструктуру. Это особенно важно для сервисов с длинным контекстом и высокой частотой повторного использования данных. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/09/489724.html #AI #LLM #Intel #KVCache #DataCenter #Inference