🚨 Go теперь может напрямую работать с локальными LLM без API — 9 апреля 2026 г. в 09:25:23.405
🚨 Go теперь может напрямую работать с локальными LLM без API Kronk - это попытка убрать прослойку SaaS и дать Go доступ к моделям напрямую. По сути это SDK и модельный сервер, который позволяет встроить локальные LLM прямо в приложение. Под капотом используется llama.cpp, а API ощущается как OpenAI-совместимый. Ты пишешь обычный Go-код и вызываешь модель так же, как привык через API. Только всё крутится локально. Без внешних запросов и без зависимости от провайдеров. Есть стриминг, embeddings, rerank, токенизация. Всё через один интерфейс. Отдельно важен момент с перфомансом. Проект заточен под hardware acceleration и работу с GGUF моделями. Это значит, что можно выжимать максимум из локального железа без костылей. https://github.com/ardanlabs/kronk