Тест на предвзятость ИИ оказался тестом на IQ. 🔬
Тест на предвзятость ИИ оказался тестом на IQ. 🔬 AllenAI выкатила BenchMIRT — аудит бенчмарков на уровне каждого вопроса. Прогнали 100 моделей через 16 тестов (34 000 вопросов) и вскрыли подвох: BBQ, считавшийся проверкой на стереотипы, почти не связан с безопасностью — он коррелирует с общим рассуждением. Второй сюрприз: 10% самых информативных вопросов дают почти ту же картину, что весь набор. Похоже, половина «экзаменов» для нейросетей — пустой шум. А вы доверяете цифрам бенчмарков? #ИИ #нейросети #данные
56 просмотров