ToolkenGPT и Toolken+: как улучшить работу языковых моделей с инструментами
ToolkenGPT и Toolken+: как улучшить работу языковых моделей с инструментами Исследователи предложили новые подходы к работе языковых моделей с внешними инструментами — ToolkenGPT и Toolken+. В ToolkenGPT каждый внешний инструмент представляется в виде токена (toolken), и модель обучается работать с ними как с обычными текстовыми токенами. Процесс работы модели делится на два режима: reasoning (обычная генерация с учётом toolken) и tool (вызов инструмента при предсказании toolken). Подход был протестирован на задачах математических операций, knowledge-based QA и генерации плана. Концепция Toolken+ решает некоторые проблемы ToolkenGPT. Она добавляет переранжирование выбранных инструментов и опцию reject для отказа от вызова инструмента, если вероятность подходящего вызова невысока. Это помогает снизить количество ошибок при выборе инструментов. Тестирование Toolken+ на бенчмарках GSM8K, VirtualHome и MetaTool показало улучшение качества ответов.