Как FlashAttention ускоряет работу трансформеров
Как FlashAttention ускоряет работу трансформеров Производительность GPU в задачах глубокого обучения часто ограничивается не вычислительными возможностями, а скоростью доступа к памяти. FlashAttention предлагает решение этой проблемы для механизма attention в трансформерах. Алгоритм снижает потребление памяти и ускоряет вычисления за счёт двух техник: тайлинга и онлайн-Softmax. Тайлинг разбивает входные матрицы на блоки и обрабатывает их в быстрой памяти SRAM, избегая хранения всей матрицы QKT в медленной VRAM. Онлайн-Softmax позволяет вычислять и нормализовывать веса внимания инкрементально, по мере загрузки блоков в SRAM. В результате FlashAttention переводит вычисление attention из зависимости от памяти (memory-bound) в зависимость от вычислительных мощностей GPU (compute-bound).