MC-Sparse
MC-Sparse Метод разреженного внимания от Fudan и Tencent Hybrid для ускорения генерации видео и 3D без переобучения. Отсекает лишние токены, ускоряя денойзинг в 1.8-2.3×. • Токен-уровневое разреженное внимание прямо на входе — drop-in ускорение, без ретрейна • Группирует похожие query в GPU-тайлы и выбирает только важные KV-токены • Компенсирует отброшенные вклады через кэшированный остаток • Работает на MiniMax-H3 (видео) и генерации 3D-ассетов Важные параметры • 1.80× ускорение видео MiniMax-H3, 2.32× для 3D • Плотность внимания всего 15% • Сохранение мелких деталей при сильном разрежении Разбирает три источника потери качества при разрежении: групповые ограничения, неточный отбор и отброшенный «хвост» вкладов. Находит точные выборки один раз на anchor-шаге и переиспользует их на следующих шагах денойзинга github.com/dodododddo/mcsparse Спасибо @m_franz #optimization