GGUF теперь можно загрузить прямо через Transformers. Но быстрый путь пока открыт в пер...
GGUF теперь можно загрузить прямо через Transformers. Но быстрый путь пока открыт в первую очередь владельцам Mac на Apple Silicon. Hugging Face добавила загрузку GGUF через обычный from_pretrained: тот же компактный файл можно использовать в Python и привычных инструментах PyTorch. Сейчас эффективный packed-путь работает через MPS на Apple Silicon и покрывает архитектуры Qwen 3.5/3.8. Это полезно разработчикам и тем, кто проверяет или оценивает модели в коде. Если нужно просто запускать локальную модель, сама Hugging Face по-прежнему рекомендует llama.cpp. А на Windows с NVIDIA это пока не универсальная замена привычному рантайму. В разборе Hugging Face с кодом и замерами есть пример загрузки и сравнение на Mac M2 Max.
3 просмотров