ReST-MCTS: как улучшить решение математических задач моделями ИИ
ReST-MCTS: как улучшить решение математических задач моделями ИИ Авторы статьи исследуют проблему, когда модель даёт правильный ответ, но ошибается в рассуждениях. Например, в задачах по математическому анализу модель может угадать верный результат, не решив задачу правильно. Для улучшения ситуации применяют process reward modeling (PRM) — модель, которая оценивает каждый шаг решения, а не только итоговый ответ. Однако обучение PRM требует дорогостоящей разметки от людей. В статье предлагается использовать Monte Carlo Tree Search (MCTS) для одновременного обучения policy и PRM. Алгоритм ReST-MCTS превращает рассуждения в дерево поиска: каждый узел — это промежуточное решение, а ребро — следующий шаг. MCTS генерирует продолжения, обходит дерево и концентрируется на наиболее перспективных путях. Перспективность шага оценивает обученная PRM. После завершения поиска дерево превращается в обучающие данные: решения, приводящие к правильному ответу, используют для дообучения policy, а узлы корректных веток — для обучения PRM без участия человека. Цикл повторяется: обновлённые policy и PRM строят более «умные» деревья и генерируют более качественные решения.