SageMaker за 2026: OpenAI-API на endpoints и маршрутизация под RAG — 19 сентября 2026 г. в 05:35:43.915
SageMaker за 2026: OpenAI-API на endpoints и маршрутизация под RAG Перенос агента с OpenAI на свои модели в AWS часто ломался на клиенте: подпись запросов вместо простого токена, самодельные адаптеры под endpoint. На managed SageMaker — тот же чат-протокол: меняете базовый URL и bearer из кредов, стрим и промпты не трогаете. Тот же SDK в коде, другой хост в конфиге. Одинаковое начало промпта на случайном балансировщике пересчитывается на каждом инстансе. Маршрутизация по префиксу стягивает похожие вызовы на одну машину; в замерах AWS на Llama 70B кеш дошёл до 82%. Уже на LangChain или Strands — начните с подстановки URL, маршрутизацию по префиксу включите, если первый токен стабильно тормозит.
6 просмотров