НС
Нейро-Инсайдер: Слухи об ИИ, Новости про нейросети.
IT и технологии · 19 октября 2026 г.
Поддержка Apple Silicon в SGLang
Поддержка Apple Silicon в SGLang Фреймворк SGLang получил официальную поддержку Apple Silicon через стандартный бэкенд PyTorch/MPS в версии v0.5.22. Ранее для работы на Mac требовался отдельный бэкенд MLX. Теперь пользователям доступны основные компоненты стека SGLang, включая планировщик, систему управления памятью и серверную часть, с учетом лимитов объединенной памяти Apple. В тестах на M4 Pro (48 ГБ) модель Qwen3-0.6B показала скорость 65.9 tps при декодировании и 2,531 tps при префилле. 🍎 📰 Подписаться на канал
1 просмотров