DeepInfer
DeepInfer Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу. • Ускоренный декодинг через DSpark и проверку по уверенности • Параллелизм: attention DP, MoE EP с балансировкой экспертов • Асинхронный планировщик батчей без накладных расходов • Структурированный вывод по regex, JSON-схеме и грамматике • Одна модель из коробки, DeepSeek-V4.1-Flash • NVIDIA SM100 и Huawei Ascend 950 • Linux, Python 3.12, CUDA 13 или CANN 9.2 • Пока только офлайн-инференс, сборка из исходников В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0. #harness
25 просмотров