DeepSeek открыла исходный код DeepInfer, движка инференса, который она использует для м...
DeepSeek открыла исходный код DeepInfer, движка инференса, который она использует для масштабного запуска V4.1-Flash. https://github.com/deepseek-ai/DeepInfer Именно этот код помогает быстрее обслуживать запросы к моделям и снижать затраты на их работу. Для компаний, развёртывающих собственные ИИ-сервисы, DeepInfer может оказаться даже ценнее самих весов модели. Ещё одна важная деталь: движок работает не только на чипах Nvidia, но и на Huawei. 👍👍👍
2 просмотров