DeepSeek открыла DeepInfer — боевой движок инференса
DeepSeek открыла DeepInfer — боевой движок инференса 20 октября DeepSeek выложила на GitHub под лицензией Apache 2.0 DeepInfer — высокопроизводительный фреймворк инференса, который обслуживает их production-сервисы, прежде всего модель DeepSeek-V4.1-Flash. Инференс (inference — процесс генерации ответов уже обученной моделью) обычно остаётся закрытой частью стека. Здесь компания делится оптимизированными ядрами, параллелизмом экспертов (MoE — Mixture of Experts, архитектура с разреженными «экспертами»), спекулятивным декодированием DSpark и другими техниками. Поддержка есть на NVIDIA SM100 и Huawei Ascend 950. Полного сервиса пока нет: отсутствуют система KV-кэша (кэш ключей и значений для ускорения повторных запросов), разделение prefill/decode и балансировка нагрузки. Это офлайн-движок для одной модели. Для сообщества это редкий взгляд внутрь реального serving-стека фронтир-лаборатории. Источники: https://github.com/deepseek-ai/DeepInfer https://x.com/deepseek_ai/status/2112476496283775135 #AI #DeepSeek #OpenSource #Inference #LLM #MoE