Slotstream позволяет запускать большую языковую модель Qwen3.8-Flash-Next (125 млрд пар...
Slotstream позволяет запускать большую языковую модель Qwen3.8-Flash-Next (125 млрд параметров, 104 ГБ в 4-битном формате) на Mac даже с недостаточным объёмом оперативной памяти за счёт потоковой загрузки данных с SSD. Для работы нужен Mac с процессором Apple Silicon, macOS 14+ и около 110 ГБ свободного места на диске. Приложение написано на Swift, не требует Python, поддерживает API Ollama и OpenAI, а установка происходит одной командой. Скорость работы и требуемая память зависят от объёма установленной на компьютере ОЗУ, но Slotstream автоматически адаптируется под возможности системы. Источник: https://github.com/carloslfu/slotstream
30 просмотров