FreeToken: команда vLLM/SGLang выпускает движок инференса для MoE-моделей, способный ра...
FreeToken: команда vLLM/SGLang выпускает движок инференса для MoE-моделей, способный работать на ноутбуке Авторы vLLM и SGLang, доминировавших в инференсе LLM, анонсировали FreeToken — оптимизированный движок для MoE-моделей, который позволяет запускать модели уровня 35B на встроенной GPU ноутбука (RTX 4060, 8 ГБ). Это снижает барьер для локального инференса и может ускорить коммерциализацию on-device AI, особенно для экономически чувствительных сценариев, где облачный инференс слишком дорог. 🔗 https://habr.com/ru/articles/1073522/?utm_campaign=1073522&utm_source=habrahabr&utm_medium=rss
22 просмотров