Запуск гигантских MoE-моделей на обычных ПК — 25 июля 2026 г. в 16:05:09.247
Запуск гигантских MoE-моделей на обычных ПК Colibrì — это легковесный движок на чистом C без внешних зависимостей, позволяющий запускать огромные модели с архитектурой Mixture-of-Experts (например, 744-миллиардную GLM-5.2) на потребительских компьютерах с ограниченным объемом оперативной памяти (от ~25 ГБ). Система интеллектуально управляет иерархией памяти (VRAM, RAM и накопитель), потоково подгружая с диска только необходимые эксперты для каждого токена, что сохраняет исходную точность модели без скрытого снижения качества. Проект поддерживает кроссплатформенную работу, включает встроенный OpenAI-совместимый API-сервер, веб-интерфейс и продвинутые функции, такие как спекулятивное декодирование MTP и автоматическая адаптация кэша под доступные ресурсы машины. #ИИ @pcTeapot