NVIDIA ускоряет передачу контекста между моделями до 25 раз
NVIDIA ускоряет передачу контекста между моделями до 25 раз Исследователи NVIDIA представили метод кросс-модельной передачи KV-кэша (память внимания, хранящая обработанный контекст). Он мгновенно передаёт предзаполненный кэш от одной LLM к другой вместо полного пересчёта. Техника использует линейную алгебру (per-head ridge regression). На парах Qwen3 и Llama 3.1 ускорение 2,7–25×: перенос 32 768 токенов с 14B на 32B — 278 мс против почти 7 секунд. Сохраняется до 98% точности. Для агентных систем это снимает узкое место. Можно стартовать на лёгкой модели и мгновенно переключаться на мощную без потери длинного контекста... Источники: https://venturebeat.com/technology/nvidia-finds-that-simple-linear-math-can-replace-costly-ai-model-handoffs https://arxiv.org/abs/2608.03893 #AI #NVIDIA #LLM #AgenticAI #KVCache #Inference