Janus — это сервер локальных языковых моделей, написанный на Go, который позволяет запу...
Janus — это сервер локальных языковых моделей, написанный на Go, который позволяет запускать модели в формате .gguf на вашем компьютере с использованием GPU (через Vulkan) или CPU. Он предоставляет совместимый с OpenAI API, что даёт возможность подключать локальные модели к привычным инструментам без Python, Docker или Ollama. Поддерживается горячая замена моделей, автоматическое определение шаблонов чата и работа без дополнительных зависимостей. Программа работает на Windows, Linux и macOS. Источник: https://github.com/Vibra-Ingenn/Janus
18 просмотров