Unsloth уже успели сделать GGUF-версию Kimi K3 для запуска нейронки через движок llama.... — 28 июля 2026 г. в 23:51:09.172
Unsloth уже успели сделать GGUF-версию Kimi K3 для запуска нейронки через движок llama.cpp на центральных процессорах. За счет квантования и оптимизации, вес нейронки сумели сократить для запуска на 1,56 ТБ оперативки, но для KV-кэша нужно накинуть еще 500 ГБ сверху. Само собой, скорости не обрадуют, но сама возможность такого развертывания — уже достижение.
31 просмотров