DMPO: улучшение DPO для длинных диалоговых цепочек

DMPO: улучшение DPO для длинных диалоговых цепочек Direct Multi-Turn Preference Optimization (DMPO) — это модификация DPO, которая позволяет добиться более качественных результатов. Традиционный DPO работает с парами «префикс и суффикс», то есть с запросом пользователя и ответом. Авторы статьи решили распространить его на длинные цепочки, используя три датасета: ALFWorld, WebShop и ScienceWorld. Например, в ScienceWorld агенту даётся задание и текстовое представление нескольких «комнат» с объектами — нужно выполнить действия, чтобы достичь цели. В ALFWorld задачи проще, например, убрать посуду в шкаф. При обучении на цепочках использование стандартной формулы для KL-дивергенции приводит к большой накопительной ошибке, поэтому авторы применяют State-Action Occupancy Measure (SAOM). Этот метод модифицирует обычный RL-лосс и вводит дисконт, чтобы у более ранних шагов был больший вес. После добавления формулы SAOM в формулу DPO и нормализации на длины траекторий каждый следующий шаг в диалоге меньше влияет на лосс. Эксперименты показали, что в сетапе RQ2 DMPO даёт ощутимый прирост относительно SFT, а в RQ1 различия менее значительны, но метод всё равно эффективнее.