Китайские гении из DeepSeek не стали жадничать и поделились исходным кодом DeepInfer — ...
Китайские гении из DeepSeek не стали жадничать и поделились исходным кодом DeepInfer — это такой фреймворк, на котором у них крутятся все ИИ-сервисы. Говорят, что главная фишка DeepInfer — умение ворочать огромные объемы данных без астрономических затрат. По их расчетам, один кластер DeepInfer в состоянии обработать 155 триллионов токенов в сутки, при этом каждый GPU на нём приносит 38 долларов в час в периоды низкой нагрузки. На данный момент фреймворк работает только с их собственной DeepSeek-V4.1-Flash (по умолчанию ставится версия 1017). Поддерживает DeepInfer только новинки от NVIDIA (архитектура Blackwell) и ускорители Huawei Ascend 950, а вот старые «лошадки» от NVIDIA, включая Hopper, остаются за бортом. Но есть и плюсы: DeepInfer умеет выдавать идентичные результаты при повторных запусках на одинаковых данных. Приятно, когда нейросеть не фантазирует, верно? #Технологии