DeepSeek опять напомнили всем, что они короли опенсорса, и выложили движок, на котором ...
DeepSeek опять напомнили всем, что они короли опенсорса, и выложили движок, на котором крутят свой инференс DeepSeek открыли исходный код DeepInfer под лицензией Apache-2.0. Это фреймворк для инференса — выполнения модели и генерации ответов, — на котором работают их продакшн-сервисы, то есть действующие сервисы для пользователей. Внутри — собственные оптимизированные кернелы FlashMLA, DeepGEMM, DeepEP и другие: низкоуровневые вычислительные функции. Работа распараллеливается под MoE — архитектуру с выборочным подключением блоков-«экспертов». Асинхронный планировщик готовит следующий батч, то есть пакет данных для обработки, пока устройство считает текущий. Помимо этого, в движке есть и другие оптимизации, которые можно использовать в своих проектах. Вот несколько: 1. Спекулятивный декодинг — генерация с предварительными вариантами продолжения. Модель создаёт несколько черновых токенов, фрагментов текста, а затем проверяет их разом: какие оставить в ответе, а какие пересоздать. Это ускоряет и удешевляет инференс. 2. Детерминированный режим — воспроизводимый результат для отладки цепочек обработки и оценочных тестов поверх LLM, больших языковых моделей. Одинаковый вход с одинаковыми параметрами всегда даёт одинаковый результат, независимо от нагрузки и состава батча. В обычном режиме такой гарантии нет. 3. Structured outputs — вывод в строго заданном формате. Генерацию можно жёстко ограничить структурой JSON, формата для обмена данными, регулярным выражением — шаблоном допустимого текста — или EBNF, формальной записью правил грамматики. Отдельно под лицензией MIT открыли deepseek-recipe. Он задаёт, как превратить клиентский запрос в понятный модели формат, а её ответ — обратно в тот вид, которого ждёт клиент. Именно на этом часто спотыкается самостоятельный запуск моделей с открытыми весами — опубликованными параметрами модели. Есть Python-биндинг: интерфейс для работы с инструментом из Python. Материалы: — GitHub — deepseek-ai/DeepInfer: http://github.com/deepseek-ai/DeepInfer — GitHub — deepseek-ai/deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipe Источник: https://t.me/data_secrets/10180 #RealVibe #AI #AI_Инструменты