FeatherAttn
FeatherAttn Быстрое обратное ядро внимания для AMD RDNA3 и RDNA3.5, проверяли на Strix Halo. В AITER, наборе ядер AMD, прямое ядро нормальное, а обратное никто не оптимизировал. Это ускорение обучения, а не генерации • Замена flash_attn_func один в один: прямое ядро из AITER, обратное свое • Если чего-то не умеет, тихо откатывается на ядро AITER • Работает с torch.compile • Без квантования int8 и fp8 и без разреженности • В 4 раза быстрее при размерности головы 128 • В 1,3 раза при размерности 64 • LoRA-обучение Anima ускоряется на 40% • Размерность 128 нужна свежим моделям: Anima, Krea 2, MOSS, H3, тогда как SDXL работает на 64 Второе узкое место такого обучения на Strix Halo: обратное ядро матричного умножения. Для него есть форк rocm-libraries с ускоренным GEMM NT, ссылка в репозитории. Как прикрутить fp8 к вниманию на этих чипах, пока открытый вопрос. #optimization #training