Llama cpp – движок для запуска больших языковых моделей прямо на ноутбуке, и именно на ...
Llama cpp – движок для запуска больших языковых моделей прямо на ноутбуке, и именно на нём работает всё что называется «запустить AI локально», включая Ollama, Jan и большинство десктопных клиентов Скачал GGUF-модель с HuggingFace, запустил один бинарник и разговариваешь с языковой моделью уровня ChatGPT без интернета, без API-ключа и без того чтобы ваши данные куда-то ушли — Работает на CPU и GPU, поддерживает Apple Silicon с Metal-ускорением и NVIDIA через CUDA, а формат GGUF, который он ввёл, стал де-факто стандартом для дистрибуции квантованных моделей Языки: C++ (56.1%), C (15.8%), Python (7.3%), ... ⭐️ Star 127k https://github.com/ggml-org/llama.cpp ⚡️ @becaps // max.ru/becaps
377 просмотров