🤖 kimi-k3-in-c
🤖 kimi-k3-in-c 👁️ Реализация инференса Kimi K3 на переносимом C99 без BLAS, сторонних фреймворков и видеокарты. Модель с 2,78 трлн параметров запускается на одном процессоре с пиковым потреблением около 8,24 ГБ оперативной памяти. Движок занимает 176 КБ, а модель объёмом 1,56 ТБ потоково загружается с диска, сохраняя одинаковый результат на разных объёмах памяти. ❗ Подойдёт разработчикам и исследователям, изучающим низкоуровневую реализацию инференса больших языковых моделей. Проверить в деле tags: #утилиты #ии 🧭 @recura_tech
292 просмотров