LangSmith LLM Gateway: лимиты расхода и фолбэки для продовых агентов
LangSmith LLM Gateway: лимиты расхода и фолбэки для продовых агентов За ночь coding-агент может уйти в цикл ретраев и набить 10 000 вызовов к модели — в примере LangChain утренний счёт на четыре цифры. Шлюз режет такие пики политиками до запроса к провайдеру, а не постфактум в биллинге. В публичной бете Plus и Enterprise это LangSmith LLM Gateway: потолки расхода, rate limits, фолбэк на другую модель и вырезание секретов — между обвязкой агента и OpenAI, Anthropic или своим endpoint. При превышении агент получает 402, срабатывания лимитов видны в метаданных трейсов. Claude Code, Codex и похожие клиенты подключают через смену base_url и ключ LangSmith. Если агент крутится вне IDE, сверьте: лимиты в коде репозитория или на маршруте к модели — это разные точки отказа.