Исследователи из Яндекса опубликовали на EMNLP две новые статьи про оценку LLM
Исследователи из Яндекса опубликовали на EMNLP две новые статьи про оценку LLM EMNLP — одна из двух главных конференций по обработке естественного языка наряду с ACL. В 2026 году организаторы получили 17 669 заявок против 8 тысяч годом ранее. Одна из особенно актуальных тем — как оценивать большие языковые модели, или LLM: старые бенчмарки, наборы тестов для проверки моделей, быстро насыщаются и требуют новых подходов. Один из трендов — игровые тесты. В отличие от статичных заданий, они проверяют стратегическое мышление, удержание контекста и способность рассуждать на несколько ходов вперёд. MTGBench объединяет семь многоходовых игр, каждую на русском и английском: Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас». Важен не только выбор игр: каждый ход модели можно объективно оценить. В четырёх играх результат проверяет алгоритм, в остальных трёх языковая модель выступает судьёй с узкой задачей — следить за соблюдением правил. Самого судью отдельно и независимо проверили. В таблице результатов — 16 моделей. Сильные ризонинг-модели, ориентированные на пошаговое рассуждение, догоняют или обгоняют человеческий бейзлайн — результат людей, собранный авторами для сравнения. Помогает эффективная игра: модели находят отгадку за меньшее число ходов 😐 Вторая статья — об оценке машинного перевода. Качество перевода растёт, но смысловые ошибки и неестественные формулировки остаются, причём при первом чтении их легко пропустить. Для поиска нужны подготовленные эксперты, а такую разметку трудно масштабировать. Авторы проверили, могут ли языковые модели оценивать перевод на экспертном уровне и как устроить такого оценщика. Для исследования собрали 600 англо-русских переводов. Каждый независимо разметили три эксперта. Затем последовательно проверили влияние инструкций, способов подготовки и отбора примеров, выбора моделей и объединения их отчётов. Результат — семейство оценщиков ORBIT. Лучшая конфигурация достигла экспертного уровня согласованности в поиске ошибок, а её стоимость оказалась примерно в 28 раз ниже стоимости одного прохода профессионального эксперта. Подход также проверили на пяти других языковых направлениях с независимой разметкой по MQM и ESA — протоколам экспертной оценки качества перевода. Материалы: — https://aclanthology.org/2026.findings-emnlp.1333/ — https://arxiv.org/abs/2610.33741 Источник: https://t.me/data_secrets/10232 #RealVibe #AI #AI_Новости