Экономим токены: локальный роутинг скиллов для агентов
Экономим токены: локальный роутинг скиллов для агентов Агенты часто тратят токены на выбор нужного скилла. Но есть способ сократить расходы — и он уже опробован. Проект Routed предлагает локальный роутинг: он скачивает модель minilm-l6-v2 и запускает ее прямо на устройстве, чтобы построить эмбеддинги для ваших скиллов. Затем minilm-l6-v2 и BM25 совместно подбирают лучший скилл под ваш промпт. Автор утверждает, что такой подход экономит более 1000 токенов на один вызов роутинга. Впечатляет, если учесть, что обычно для этого приходится обращаться к внешним API. Если вы тоже хотите сократить расходы на агентов, стоит присмотреться к этому решению.
6 просмотров
Канал в каталоге Максиметера
269 подписчиков · Новости