FlashPrefill V2 ускоряет префилл длинного контекста в LLM до 47 раз
FlashPrefill V2 ускоряет префилл длинного контекста в LLM до 47 раз Исследователи из Tencent WeChat и CASIA представили FlashPrefill V2 — практическую систему блочно-разреженного внимания для фазы префилла (prefill) в больших языковых моделях. На NVIDIA H20 при контексте 128K она даёт до 47,26× ускорения в FP8 и 27,19× в BF16 относительно FlashAttention-2, а против выровненного dense-бэкенда FA3/4 — 30,49×. Ключевой элемент — mean-correction, который компенсирует ошибку отсечения блоков и удерживает падение качества в пределах ~1 пункта на RULER и LongBench даже при экстремальной разреженности. Оператор переписан под PackGQA, warp-специализацию и pingpong-пайплайнинг, поддерживает FP8, paged KV-cache и continuous batching. Система интегрируется в SGLang как обычный attention-backend без изменений модели. Это уже не прототип, а готовый к продакшену слой, который реально снижает time-to-first-token на длинных запросах — именно там, где сейчас упираются сервисы агентов и RAG... Источники: https://arxiv.org/abs/2608.19758 https://arxiv.org/pdf/2608.19758 https://github.com/qhfan/FlashPrefillv2 #AI #LLM #LongContext #SparseAttention #FlashPrefill #Inference