Жвачка для литераторов
Жвачка для литераторов Машинный перевод постоянно улучшается, но проблем всё ещё немало. Текст может выглядеть вполне прилично, а при чтении приходится возвращаться к отдельным фразам, чтобы понять, что имеется в виду. Неестественные формулировки и искажения смысла не всегда бросаются в глаза — чтобы их найти и оценить, нужна внимательная экспертная проверка. Чтобы решить эту проблему исследователи Яндекса представили ORBIT — систему оценки переводов на базе языковых моделей. Она отмечает проблемные фрагменты и оценивает серьёзность ошибок. Работа опубликована в Findings of EMNLP 2026 — конференции по обработке естественного языка, которая сейчас проходит в Будапеште. Для экспериментов собрали 600 переводов с английского на русский. Каждый независимо проверили три профессиональных лингвиста. Затем с их разметкой сравнили оценки ИИ: какие ошибки модели замечают и насколько согласны с экспертами. Исследователи последовательно проверили, как устроить такого оценщика: насколько подробной должна быть инструкция, как собирать и отбирать примеры разметки и что даёт объединение нескольких моделей. Важным оказалось качество примеров, а не просто их количество. В самой сильной конфигурации GPT-5.4, Claude Opus 4.6 и Gemini 3.1 Pro проверяют перевод независимо, а затем Claude объединяет замечания в общий отчёт. Такая редакционная коллегия оказалась эффективнее повторных проверок одной моделью. На тесте ORBIT достигла уровня согласия между экспертами в поиске ошибок и сравнении переводов по точности и естественности языка. Причём ИИ повлиял и на лингвистов: после знакомства с его отчётом они отмечали в среднем семь ошибок на фрагмент вместо 5,6 и ставили переводам более низкие оценки. Подход также проверили на пяти других языковых направлениях с независимой разметкой по протоколам MQM и ESA. Данные и промпты открыли: можно проверить результаты и собрать собственного придирчивого редактора. @anti_agi