Снижение галлюцинаций в reasoning-моделях: подходы и методы
Снижение галлюцинаций в reasoning-моделях: подходы и методы Авторы исследования ищут способы повысить фактическую точность reasoning-моделей. Они отмечают, что такие модели хорошо справляются с математическими задачами и написанием кода, но в длинных фактологических ответах допускают больше ошибок, чем их не-reasoning-аналоги. Например, DeepSeek-R1 и QwQ-32B генерируют на 10–13 процентных пунктов больше галлюцинаций по сравнению с DeepSeek-V3 и Qwen-2.5-32B на шести датасетах для проверки фактологичности. Проблема заключается в том, что стандартные методы обучения (например, RL) ориентированы на задачи с чётко определёнными правилами и автоматической проверкой, а для фактологических ответов нет надёжных способов автоматической верификации. Попытки использовать инструменты вроде FActScore и VeriScore приводят к тому, что модель начинает давать слишком краткие ответы или выдаёт длинный, но малосвязанный с вопросом поток информации. Для решения проблемы авторы предлагают генерировать обучающие промпты с помощью Llama 4, используя два набора grounding-промптов: WildChat (реальные запросы пользователей) и LongFact (запросы, требующие фактологически точных ответов). Затем они применяют SFT и DPO, оптимизируя процесс с помощью VeriScore. Для онлайн-RL предлагается награда, состоящая из трёх компонентов: фактическая точность, детальность и релевантность. Это позволяет сократить время проверки ответов и сделать подход пригодным для использования в GRPO-алгоритме.