Как LLM оценивают ответы: проблемы и пути их решения
Как LLM оценивают ответы: проблемы и пути их решения Рассмотрим проблемы использования языковых моделей (LLM) в качестве инструмента для оценки открытых ответов, например, рассказов. LLM могут ускорить и удешевить процесс оценки, но пока не способны полностью заменить человека. Авторы исследования выделяют три подхода: попарное сравнение ответов, оценка одного ответа по шкале и оценка с опорой на эталонный ответ. Одна из проблем — position bias: модели часто выбирают первый из представленных ответов. Для борьбы с этим авторы предлагают дважды сравнивать ответы, меняя их местами, и считать результат ничьёй, если решение модели изменилось. Также применяется метод few-shot: модель обучается на примерах с заранее определённым лучшим ответом, что повышает согласованность оценок с 65 % до 77,5 %. Однако LLM плохо справляются с оценкой решений математических и логических задач. Частичное решение — использование собственного ответа модели как эталона для последующей оценки. Среди нерешённых проблем — склонность моделей завышать оценку длинным ответам (verbosity bias) и собственным ответам (self-enhancement bias).