Agent-R: как научить языковые модели исправлять ошибки
Agent-R: как научить языковые модели исправлять ошибки Авторы статьи предложили метод Agent-R для обучения языковых моделей агентов исправлять ошибки. Проблема традиционных реворд-моделей в том, что они оценивают только конечный результат, не фиксируя момент исправления ошибки. Метод Agent-R использует Monte Carlo Tree Search для создания траекторий: модель обучается на примерах, где есть ошибка и её последующее исправление. В процессе обучения модель сама определяет момент расхождения между успешной и провальной траекториями. К провальной траектории добавляется фраза-рефлексия (CoT), а затем «приклеивается» хвост удачной траектории. Это снижает риск склейки несвязанных траекторий. Эксперименты с Llama-3.1-8B показали, что исправленные траектории могут быть даже лучше идеальных. Авторы отмечают, что для эффективного обучения важно сочетать Revision Trajectory (траектории с исправлением ошибки) с Good Trajectory (оптимальными траекториями) и обычными языковыми данными. Ссылки из исходного поста: статью | «что-то на DL-ском» | Душный NLP Материалы по ссылкам: 1. Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training Что в статье: В работе предложена итеративная система самообучения Agent-R, которая позволяет языковым моделям агентов отражать и корректировать ошибки в процессе работы. Agent-R использует MCTS для создания обучающих данных, которые восстанавливают корректные траектории из ошибочных. Система идентифицирует первый ошибочный шаг в неудачной траектории и соединяет его с соседним правильным путём, что позволяет модели учиться на основе текущей политики. Эксперименты в трёх интерактивных средах показали, что Agent-R эффективно обучает агентов исправлять ошибочные действия, избегая зацикливания, и демонстрирует улучшение производительности на 5,59% по Источник материала: ссылка 2. что-то на DL-ском Что в статье: У канала «что-то на DL-ском» 4 564 подписчика. Канал посвящён искусственному интеллекту, в частности, NLP, CV и speech. Автор канала активно делится информацией. Можно связаться с автором по адресу @nadlsskom. Канал доступен в Telegram. Источник материала: ссылка 3. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Публикации подробные и полезные. Количество подписчиков — 6 411. Источник материала: ссылка Источник: оригинальный пост