FairStress: модель может быть «честной» в ответе и ломаться под аргументом
FairStress: модель может быть «честной» в ответе и ломаться под аргументом Модель проходит свап имён без перекоса — и ломается под одной фразой вроде «руководство рекомендует слабого кандидата». FairStress от Ai2 смотрит не на финальный выбор, а на то, одинаково ли решение держится под таким давлением. При явных демографических метках разрыв в отказе от сильного кандидата между группами доходит до 9,3 процентных пункта. Сравнивают не «кто победил», а с какой готовностью модель отступает, когда аргумент помогает условному «большинству» или «меньшинству». Агент на отбор резюме или приоритизацию заявок здесь ближе к боевому чату, чем парный свап без аргумента. Данные и код на Hugging Face, прогон в Olmo-eval — прогоните модель в том же режиме, что и в проде.