GenARM: новый метод улучшения генерации текстовых ответов
GenARM: новый метод улучшения генерации текстовых ответов Авторы исследования предложили метод GenARM для улучшения генерации текстовых ответов. Они используют сумму авторегрессионного RM-скоринга и LLM-скоринга для оценки токенов и выбора наилучшего ответа. Модель обучается на парах инструкций и ответов, размеченных людьми, с применением негативного лосса. В тест-тайме система оценивает каждый токен, что эффективнее, чем генерация целых текстов. Эксперименты показали, что GenARM превосходит некоторые существующие методы (ARGS и Transfer Q) по качеству и скорости, но уступает более сложному и дорогому DPO. Также выяснилось, что небольшие модели могут эффективно работать в качестве реворда для крупных моделей при использовании GenARM.
12 просмотров