В опенсорсе нашли способ почти вдвое ускорить матричные вычисления на RTX 3090
В опенсорсе нашли способ почти вдвое ускорить матричные вычисления на RTX 3090 gpu-unlock — проект с открытым исходным кодом для снятия ограничения производительности игровых видеокарт в задачах нейросетей. За пару дней он набрал более 5 тысяч звёзд на GitHub. Почти двукратный прирост показан в отдельных тестах; на реальных задачах выигрыш скромнее. У GeForce 30-й серии, включая RTX 3080, 3090 и 3090 Ti, тензорные ядра — блоки для матричных вычислений — умеют перемножать матрицы в FP16 и BF16 с накоплением результата в FP32. Это форматы чисел: первые два используют 16 бит, последний — 32. Такие операции нужны для обучения и запуска нейросетей. По описанию источника, NVIDIA программно урезала скорость этой операции на игровых картах вдвое, отделив их от видеокарт для машинного обучения. Ограничитель — делитель скорости выдачи инструкций. Его значение хранится в регистрах, служебных ячейках чипа, куда обычная запись закрыта. Автор gpu-unlock применил технику, ранее придуманную для обхода аналогичных ограничений майнинговых CMP 170HX, и оформил её как модуль ядра Linux — компонент, работающий внутри операционной системы. Он загружается раньше драйвера NVIDIA, выставляет полную скорость и передаёт карту штатному драйверу. Поэтому не требуется заново патчить драйвер после каждого обновления или перепрошивать BIOS — встроенную прошивку карты. В репозитории приведены результаты RTX 3090 Ti при 450 Вт в GEMM 8192 — тесте умножения матриц: BF16: 87,5 → 157,4 TFLOPS FP16: 87,5 → 118,4 TFLOPS TF32: 42,6 → 82,6 TFLOPS TF32 — ещё один формат чисел для матричных вычислений; TFLOPS — триллионы операций с плавающей точкой в секунду. На реальных задачах заявлено ускорение префилла LLM примерно на 14–36%: это обработка входного текста большой языковой моделью перед генерацией ответа. По приведённым результатам, вычисления побитово совпадают с прежними — дают в точности тот же результат. Оригинальный проект рассчитан только на Linux, инструкция по установке есть в репозитории. Уже появились и сторонние порты для Windows — например, AD103_win_unlocker. Пенсионный возраст 3090 снова отодвигается 😎 Материалы: — GitHub — Zagitta/gpu-unlock: https://github.com/Zagitta/gpu-unlock — https://huggingface.co/TOTORONG/AD103_win_unlocker Источник: https://t.me/data_secrets/10207 #RealVibe #AI #AI_Инструменты