DeepGEMM: что DeepSeek ускоряет внутри модели
DeepGEMM: что DeepSeek ускоряет внутри модели Разбираемся в DeepSeek · выпуск 1/5. За два дня разбираем открытые разработки DeepSeek и их практический смысл. Начинаем с вычислений внутри модели. Когда нейросеть пишет ответ, внутри постоянно перемножаются большие таблицы чисел — матрицы. DeepGEMM помогает выполнять такие расчёты на графических ускорителях NVIDIA поколений Hopper и Blackwell. В MoE-модели (Mixture-of-Experts, «смесь экспертов») для части входного текста выбираются лишь некоторые специализированные блоки — «эксперты». Если они размещены на разных ускорителях, нужно отправить им данные, выполнить расчёты и собрать результат. DeepGEMM группирует подходящие матричные операции, а MegaMoE объединяет эти этапы и совмещает часть обмена с вычислением. Так уменьшается ожидание между участками работы. В документации DeepSeek перечислены FP8, FP4 и BF16 — 8-, 4- и 16-битные форматы чисел с разной точностью и расходом памяти. Библиотека содержит вычислительные ядра: небольшие программы, которые выполняют конкретную операцию на ускорителе. Выигрыш зависит от размеров матриц, формата чисел и конкретного железа. Подготовку данных тоже приходится учитывать: сам файл описания проекта, README, предупреждает, что простые вспомогательные операции PyTorch могут оказаться медленными. Быстрое ядро ускоряет свой участок; итоговое время ответа определяется всей цепочкой. Ядра компилируются во время работы через DeepJIT. CUDA — программная платформа NVIDIA для вычислений на ускорителях. Отдельная CUDA-сборка при установке не нужна; для работы NVIDIA-варианта указана CUDA 12.9 или новее. DeepGEMM существует с 2025 года. Свежий поворот — объявленный 30 сентября перенос на Huawei Ascend. Для разработчика это возможность эффективнее выполнять нужные вычисления; пользователю чата сам факт открытия библиотеки ещё не обещает более быстрый ответ. Следующий вопрос — как сохранить привычный вызов этих операций при переносе на Huawei. Он ведёт прямо к DeepGEMM-Ascend. Источники: DeepGEMM: https://github.com/deepseek-ai/DeepGEMM #RealVibe #AI #AI_Инструменты #РазбираемсяВDeepSeek