BenchMIRT от Ai2: один балл бенчмарка часто смешивает разные умения — 2 сентября 2026 г. в 05:59:44.397
BenchMIRT от Ai2: один балл бенчмарка часто смешивает разные умения Перед тем как менять модель в пайплайне, загляни не в одну цифру на лидерборде. В одном тесте могут смешаться безопасность, рассуждение и вещи, которых в названии бенчмарка даже нет: вредный jailbreak и безобидный отказ часто попадают в одно число. Ai2 выложила BenchMIRT — метод смотрит на каждый промпт отдельно и показывает, какое умение реально двигает балл. Безопасность и рассуждение всплыли на 16 бенчмарках сами, хотя исследователям не говорили, что какой тест что проверяет. BBQ обычно относят к safety, но по BenchMIRT он ближе к рассуждению: низкий балл там часто значит сложный вопрос, а не слабую защиту. Если выбираешь модель для агента — сравнивай разложение, а не одно среднее.