Новый тест для оценки LLM: что показали результаты EXPERT QA
Новый тест для оценки LLM: что показали результаты EXPERT QA Исследователи разработали тест EXPERT QA для оценки больших языковых моделей (LLM) в различных системах, включая RAG. В рамках исследования 484 эксперта из 32 областей задали 2177 технических вопросов. Для генерации ответов использовали шесть систем: GPT-4, RAG с интеграцией Google, GPT-4 с RAG на основе корпуса Sphere и другие. Эксперты оценивали ответы по нескольким критериям: информативность, фактичность, ценность цитирования, достоверность доказательств и надёжность источников. Результаты показали, что системы «получить и прочитать» часто обеспечивают полную атрибуцию, но не всегда корректно цитируют утверждения. Также выяснилось, что источник поиска существенно влияет на качество ответов: результаты Google оказались более полезными и достоверными. В областях медицины и права выявлены проблемы с атрибуцией: 35% и 31% неполных атрибуций соответственно, а также 51% атрибуций ненадёжных источников. Метрики автоматической атрибуции слабо коррелируют с экспертными оценками, однако точная настройка систем может повысить их производительность. Исследование подчёркивает, что улучшение методов поиска и ранжирования может быть эффективнее, чем дальнейшее совершенствование самих LLM.