ReplaySSM: SSM-слои снова быстрые при декодировании гибридов
ReplaySSM: SSM-слои снова быстрые при декодировании гибридов На длинном контексте у гибридов Nemotron 3 и Qwen3.5 узкое место часто не слои внимания, а блоки с компактным состоянием — Mamba-2, GDN, KDA. Обещали быстрый вывод без раздувающегося KV-кэша, а на плотных пакетах запросов тормозят как раз они. NVIDIA с лабораторией Dao показала ReplaySSM: редкий чекпоинт состояния плюс буфер недавних входов вместо полной перезаписи матрицы на каждом токене. В замерах ядра ускоряются примерно до 1,8× против настроенного vLLM. Уже крутите такие модели в vLLM, TensorRT-LLM или SGLang — патч тянут открытые рантаймы параллельно со статьёй, это про завтрашний деплой, а не про слайд на конференции.
17 просмотров