KV Cache минус 99%: один GPU обрабатывает 512 потоков с пропускной способностью 12k ток...
KV Cache минус 99%: один GPU обрабатывает 512 потоков с пропускной способностью 12k токенов/с 💡 Google ранее доказала, что KV Cache можно сжать в 6 раз, что ударило по акциям производителей памяти. Теперь команда из HKUST, CMU и RockMatrix (подразделение Yanshan Technology) пошла дальше: они представили EdgeRock-4B, где память не растет с длиной контекста. При 256K токенов размер KV Cache фиксирован на уровне 72 MiB, что на 99,1% меньше, чем у исходной модели. Это позволяет одной видеокарте Hopper 80GB одновременно обрабатывать 512 длинных инференс-задач с выходной пропускной способностью 12124 токена/с, что в 6,42 раза быстрее базовой модели Qwen3.5-4B. ⚡ Проблема современных LLM — экспоненциальный рост потребления видеопамяти по мере накопления истории. В Qwen3.5-4B каждый новый токен добавляет 32 KiB к кэшу: при 256K контекста одна последовательность занимает 8 GiB. EdgeRock решает это через механизм Rock Memory Anchors (RMA). Архитектура разделяет историю на три части: рекуррентное состояние для общего контекста, локальное окно на 1024 токена для недавних событий и банк якорей для критически важных деталей. Система автоматически отбирает наиболее значимые фрагменты, сохраняя их в фиксированном хранилище, что исключает деградацию скорости генерации на длинных текстах. 🤔 Сокращение памяти не привело к потере интеллекта. На математических олимпиадах AIME 2024–2026 EdgeRock-4B показал средний pass@1 в 82,9%, тогда как лучшие модели с ограниченным состоянием (RWKV-7, Mamba) не превысили 18,8%. В 24 из 29 текстовых бенчмарков модель лидирует среди конкурентов с фиксированной памятью. Эксперимент с отключением модулей RMA показал падение точности на длинных контекстах с 94,1% до 0,4%, подтверждая, что именно «якоря» обеспечивают доступ к удаленной информации. Модель сохраняет 96,3% точности Qwen3.5-4B на AIME и превосходит его на MMLU-Pro и HumanEval. 📌 Что это значит на практике: Стоимость инференса падает пропорционально длине контекста: при 32K входных токенов EdgeRock требует лишь 15,6% GPU-времени по сравнению с Qwen3.5-4B. Фиксированное потребление памяти позволяет точно планировать загрузку серверов и гарантирует стабильную работу агентных систем и роботов в течение часов без риска исчерпания ресурсов. 🚀 EdgeRock-4B уже открыт для коммерческого использования, поддерживая текстовый и визуальный инференс. Команда работает над версиями с большим количеством параметров. Технология особенно перспективна для edge-устройств, где память ограничена, и для автономных систем, требующих долгосрочного контекста без деградации производительности. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/505407.html #AI #LLM #EdgeRock #KVCache #OpenSource #Inference