Метод Agent-R: как научить агентов исправлять ошибки
Метод Agent-R: как научить агентов исправлять ошибки Существует проблема в обучении агентов: реворд-модели оценивают только конечный результат, не фиксируя моменты исправления ошибок. Авторы статьи предлагают метод Agent-R, который учит агентов на траекториях с явными ошибками и их исправлением. Для этого используется Monte Carlo Tree Search — он позволяет собрать множество траекторий с одним началом, среди которых есть успешные и неудачные. Модель должна сама определить момент расхождения и сгенерировать фразу-рефлексию при ошибке (CoT). Затем к провальной траектории «приклеивается» хвост удачной, и на всём этом проводится SFT. Такой подход снижает риск склейки несвязанных траекторий. Эксперименты с Llama-3.1-8B показали, что исправленные траектории могут быть даже лучше идеальных.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии