DeepSeek на Huawei: что переносится вместе с DeepGEMM
DeepSeek на Huawei: что переносится вместе с DeepGEMM Разбираемся в DeepSeek · выпуск 2/5. 30 сентября DeepSeek открыла DeepGEMM-Ascend — вариант своей вычислительной библиотеки для ускорителей Huawei. Он разработан и проверен на серии Ascend 950; в требованиях указаны CANN 9.20 — программный комплект для Ascend — и torch_npu, связующее звено между PyTorch и этими ускорителями. Главная идея — сохранить API, то есть способ, которым программа обращается к библиотеке. Снаружи вызов знакомый, внутри — реализация под другое железо: со своими правилами размещения данных и выполнения вычислений. Даже формат вспомогательных коэффициентов масштабирования отличается от NVIDIA. В тот же день TileKernels получил вариант для Ascend. Это набор оптимизированных операций на TileLang с одинаковыми Python-интерфейсами для NVIDIA и Huawei. У него собственные требования к программному окружению. В таблице DeepGEMM-Ascend есть эффектные 99,8%. Так авторы описывают долю аппаратного предела в одном тесте умножения матриц в 16-битном формате чисел BF16: 431 TFLOPS при указанном пределе 432. Условия — Ascend 950DT, CANN 9.20, матрицы M=4096, N=7168, K=16384, замер инструментом bench_msprof без прогрева кеша L2 — быстрой памяти ускорителя. TFLOPS здесь — триллионы арифметических операций в секунду. Этот результат говорит об использовании вычислительных возможностей чипа в данном тесте. Сравнения всей модели с NVIDIA в этой таблице нет. CUDA — программная платформа NVIDIA для вычислений на ускорителях. Разговор об «альтернативе CUDA» здесь имеет конкретный масштаб: разработчики переносят вычислительные библиотеки и сохраняют привычные интерфейсы. Для произвольного CUDA-проекта всё ещё нужны совместимые компоненты и проверка поведения на новом железе. Общий интерфейс упрощает переезд конкретного расчёта. Реализация под новый ускоритель остаётся отдельной инженерной работой. Дальше в спецсерии — DeepSeek Harness: как просьба превращается в действие программы. Источники: DeepGEMM-Ascend: https://github.com/deepseek-ai/DeepGEMM-Ascend TileKernels: https://github.com/deepseek-ai/TileKernels #RealVibe #AI #AI_Новости #РазбираемсяВDeepSeek