Открытый шлюз open OpenRouter: маршрутизация через симуляции и обучение на трафике
Открытый шлюз open OpenRouter: маршрутизация через симуляции и обучение на трафике НОВАЯ ВЕРСИЯ OPEN-SOURCE-ШЛЮЗА МОДЕЛЕЙ: Rust-нативный, под 1 мс оверхеда, 1000+ моделей/день. Главное — умная маршрутизация через OTel-трейсы: симуляции rollout, LLM-judge, nearest-neighbor классификатор по embedding промпта для оптимального cost/quality. Плюс: no markup, BYOK, mix local+marketplace, opt-in training user's model на реальном трафике. Это не просто прокси — это попытка сделать агентную маршрутизацию уровня production, что может стать стандартом для enterprise-инфраструктуры. 🔗 https://github.com/experientiallabs/experiential
22 просмотров