🍏 Perplexity разогнала Qwen на Mac
🍏 Perplexity разогнала Qwen на Mac Компания показала Lily - собственный движок для запуска Qwen3.6-35B-A3B на компьютерах Apple Silicon. Самое интересное, что Lily написан специально под архитектуру модели и не использует PyTorch или MLX. Всё заточено под максимальную скорость на чипах Apple. Результаты выглядят впечатляюще: - Обработка входного текста до 1,23 раза быстрее MLX-LM - Генерация ответов до 1,35 раза быстрее - До 187 токенов в секунду на контексте 4K Модель хранится в 4-битном формате и занимает около 19,4 ГБ. Отдельно оптимизировали: - Работу с памятью - Распределение экспертов в MoE-модели - Вычисления на GPU - Длинный контекст до 128K токенов Но главный вывод шире самого релиза. Похоже, развитие локального ИИ теперь всё сильнее зависит не только от мощности железа, но и от того, насколько хорошо движок адаптирован под конкретную модель и чип. Именно поэтому две одинаковые модели на одном компьютере могут показывать совершенно разную скорость. Perplexity обещает открыть Lily в ближайшее время 🚀 #perplexity #qwen #apple #ai #нейросети #новости