Улучшение фактологической точности reasoning-моделей: результаты исследования
Улучшение фактологической точности reasoning-моделей: результаты исследования Продолжаем разбор статьи Learning to Reason for Factuality. В этот раз речь пойдёт о результатах исследования. Оценка модели проводилась на шести сложных бенчмарках: LongFact, FAVA, AlpacaFact, Biography, FactBench-Hard и Factory-Hard. Базовая версия Llama-3.1-8B демонстрирует 45% фактической точности и 23,5 подтверждённых факта на ответ. После применения пайплайна (SFT + online GRPO с новым ревордом) фактическая точность возрастает до 68,1%, детальность ответа — до 29%, а релевантность достигает примерно 54%. Таким образом, ризонинг-версия модели стала меньше галлюцинировать без потери полезности. Эксперимент «SFT + DPO» показал худшие результаты по полезности ответа при сопоставимых значениях детальности и фактической точности, что подчёркивает актуальность подхода авторов. Также исследование выявило, что стратегии ризонинга для повышения фактологичности ответов отличаются от стратегий, применяемых в решении математических и кодинг-задач.