Типичный программист | IT, программирование, разработка, ИИ
IT и технологии · 4 сентября 2026 г.
Модель на 125 миллиардов параметров запустили на ноутбуке с 48 ГБ памяти — 4 сентября 2026 г. в 08:42:11.679
Модель на 125 миллиардов параметров запустили на ноутбуке с 48 ГБ памяти Веса Qwen3.8-Flash-Next занимают 105 ГБ на диске, и обычный загрузчик на MacBook с 48 ГБ уходил в подкачку и умирал до первого токена. Карлос Галарса написал slotstream: модель устроена как mixture of experts, на каждый токен нужны 10 экспертов из 512, поэтому инструмент держит в памяти фиксированный пул слотов и дочитывает нужных экспертов с SSD через pread. Итог: 3,8 ГБ постоянно в памяти, около 33 ГБ на процесс, 12 токенов в секунду генерации. Плата за это: промпт на 8000 токенов обрабатывается 39 секунд, на 32 000 три минуты. Только Apple Silicon и macOS 14, API совместим с Ollama и OpenAI, так что Open WebUI подключается сразу. Почему ленивый mmap тоже не спас и что проверить перед запуском, разобрали на сайте.