Mamba-2 на cuTile: три Python-ядра и ускорение до 1,82× против Triton
Mamba-2 на cuTile: три Python-ядра и ускорение до 1,82× против Triton Если Mamba-2 на длинном вводе тормозит, чаще виноват не замысел модели, а прямой проход на GPU — без чанковых матмулов на Tensor Cores остаётесь в по-токенном цикле. Jane Street переписали проход на NVIDIA cuTile: ядра на Python, тайловые примитивы вместо сотен строк CUDA. На B300 против Triton из mamba_ssm до 1,82×; на длинных последовательностях разрыв заметнее. Три шага: затухание по чанкам, перенос скрытого состояния матмулами, выход без раздувания памяти огромной матрицей. Обратный проход — во второй части, замеры пока только на прямом. Длинный контекст локально? сверьте cutile-бэкенд со своим Triton, пока крутите только промпт.
8 просмотров