SRPO: новый подход к оптимизации ответов ИИ
SRPO: новый подход к оптимизации ответов ИИ Self-Improving Robust Preference Optimization (SRPO) — алгоритм, который можно рассматривать как альтернативу DPO. Он лучше подходит для работы с off-policy датасетами ранжирования и эффективнее переносится на OOD-задачи. Метод основан на состязательном обучении двух политик: генерирующей и улучшающей. Улучшающая политика создаёт более качественные версии ответов, а генерирующая стремится создавать ответы, которые сложно улучшить. Обе политики обучаются на парах предпочтений, полученных от людей. SRPO демонстрирует устойчивость к изменениям в распределении данных, так как оптимальное решение задачи не зависит от политики, из которой собран датасет предпочтений. Метод можно реализовать с помощью одной LLM, которая будет выполнять обе роли — и генератора, и «улучшатора». На сложных Arena-Hard-промптах SRPO показывает 56% win-rate, а в задаче суммаризации Reddit TL;DR достигает максимального качества на четвёртой итерации.