Сколько инструментов давать агенту
Сколько инструментов давать агенту На Хабре вышел разбор от команды, у которой оркестратор с девяноста инструментами: таблицы, документы, почта, задачи, страницы, презентации. Они замеряли, как число показанных модели инструментов влияет на качество выбора. Сам разбор советую прочитать, а я расскажу, к чему пришёл у себя. У меня было то же самое: один большой агент, которому доступно всё. Удобно, пока инструментов десять. На пятидесяти начинается знакомое: агент зовёт не тот инструмент, путает похожие, иногда просто делает лишний шаг, потому что увидел возможность. Что помогло. 1. Инструменты по контексту задачи, а не все сразу. Задача про рекламу: видны инструменты рекламы и документы, остальное спрятано. Это даёт модель с десятью инструментами вместо девяноста, и она перестаёт путаться. 2. У каждого инструмента описание не «что делает», а «когда брать и когда не брать». Половина ошибок была из-за того, что два инструмента описаны почти одинаково. 3. Опасные инструменты (деньги, отправка наружу, удаление) вообще не лежат рядом с обычными. У них отдельный вход с подтверждением. Самое забавное открытие: чем меньше инструментов видит агент, тем он увереннее. Не потому, что стал умнее, а потому что меньше поводов засомневаться. Вывод: мощность агента не в числе кнопок, а в том, что в нужный момент перед ним лежат только нужные. Сколько инструментов у вашего самого большого агента?)