🤖 Инференс Kimi K3 запустили на CPU: движок на C99 в 176 КБ
🤖 Инференс Kimi K3 запустили на CPU: движок на C99 в 176 КБ Модель Kimi K3 на 2,78 трлн параметров запустили на обычном процессоре, без видеокарты и сторонних библиотек. Автор написал движок на переносимом C99, который занимает всего 176 КБ и не требует BLAS. В пике модель расходует около 8,24 ГБ оперативной памяти, а веса объёмом 1,56 ТБ подгружаются с диска потоково. По словам разработчика, результат остаётся одинаковым при разном объёме памяти. Код открыт на GitHub. Разбор пригодится тем, кто изучает, как устроен инференс больших языковых моделей на низком уровне. Полная статья: https://clck.su/dgyaO 🔗 Полная версия: https://belskii.com/news/inferens-kimi-k3-zapustili-na-cpu-dvizhok-na-c99-v-176-kb/ 🗓 2026-10-03 · #LLM #ИИ
1 просмотров