InfAlign: новый метод улучшения языковых моделей
InfAlign: новый метод улучшения языковых моделей Метод RLHF (Reinforcement Learning from Human Feedback) эффективно решает задачу алайнмента языковых моделей, но имеет недостаток: на практике наблюдается расхождение между обучением модели и её реальным использованием. Например, после RLHF модель стремится избегать неверных ответов, что становится проблемой при использовании стратегии Best-of-N — в этом случае модель могла бы давать более качественные ответы, если бы ей позволили экспериментировать. Для решения этой проблемы авторы статьи предложили метод InfAlign, который адаптирует процесс обучения к конкретным процедурам генерации. Метод включает три этапа: калибровка награды (преобразование исходных наград в значения от 0 до 1 для равномерного распределения), трансформация награды (адаптация откалиброванной награды под конкретную процедуру генерации) и обучение с модифицированной наградой (использование классического RLHF с адаптированной наградой). Эксперименты показали, что InfAlign улучшает качество генерации с точки зрения винрейта, однако сейчас метод применим лишь к ограниченному набору процедур генерации.