Исследователи представили метод BenchMIRT для аудита бенчмарков больших языковых моделе...
Исследователи представили метод BenchMIRT для аудита бенчмарков больших языковых моделей на уровне отдельных промптов. Инструмент помогает разделять сигналы и понимать, что именно движет баллом бенчмарка. Методика позволяет анализировать корреляцию между способностями моделей и результатами тестирования на выборке из 100 открытых LLM. Это помогает отделить реальные навыки от артефактов тестов. • Оценка проводится по шкале от −1 до 1 • Анализируются показатели общего reasoning и безопасности • Используются данные из Olmo 3 safety suite Подход позволяет исследователям точнее понимать, какие именно факторы влияют на итоговые оценки моделей. 🔹 Первый Нейронный
17 просмотров