LLMKube – оператор Kubernetes для запуска языковых моделей на своей инфраструктуре с GP...
LLMKube – оператор Kubernetes для запуска языковых моделей на своей инфраструктуре с GPU NVIDIA, AMD и Apple Silicon На Apple Silicon модели работают не в контейнерах, а как нативные процессы macOS: Metal Agent запускает серверы моделей с доступом к GPU через Metal — Берет на себя загрузку и кеширование моделей, распределение GPU, проверки состояния и масштабирование; предоставляет API, совместимый с OpenAI Языки: Go (97.3%), Shell (1.9%), Makefile (0.3%), ... ⭐️ Star 248 https://github.com/defilantech/LLMKube ⚡️ @becaps // max.ru/becaps
56 просмотров