Как преодолеть likelihood displacement в DPO: новый метод
Как преодолеть likelihood displacement в DPO: новый метод Direct Preference Optimization (DPO) использует датасет с инструкциями и двумя типами ответов — негативным и позитивным. Проблема likelihood displacement возникает, когда модель разучивает оба варианта вместо того, чтобы предпочитать позитивный ответ. Авторы исследования предложили способ борьбы с этим явлением. В экспериментах с датасетом Persona модели нужно было ответить на вопрос, могла бы она сказать определённое утверждение. При обучении модели отвечать не категорично («нет» вместо «никогда») вероятность токена «да» увеличивалась. Это происходит, когда оба типа ответов похожи. Причина likelihood displacement, по мнению авторов, кроется в анэмбеддинг-геометрии токенов. Для решения проблемы они разработали метрику centered hidden embedding similarity (CHES). Она учитывает суммы эмбеддингов токенов в ответах, их скалярное произведение и нормы. Метрика CHES помогла отфильтровать ответы в SORRY-bench — наборе данных для обучения модели отказывать в неэтичных запросах. Результаты оказались обнадеживающими, но после фильтрации осталось лишь 5% сэмплов. Кроме того, модели обучались разное количество шагов, что могло повлиять на итоги тестов.