RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Sol | GPT-6 Astra | Gemini 4 Argon | Claude Haiku 5.5 | Muse Wonder | MiniMax M3.1 Flash | DeepSeek V4.1 | DeepInfer | Mercury 3 | Beam 1.0 | Nemotron 3.5
IT и технологии · 22 октября 2026 г.
Тот же ответ скрывает разную устойчивость. Бенчмарк FairStress от Ai2 подаёт довод за о...
Тот же ответ скрывает разную устойчивость. Бенчмарк FairStress от Ai2 подаёт довод за одного кандидата, затем за другого и смотрит, устоит ли вывод. При явной метке точность — выбор объективно сильнейшего — между группами расходится на 2,9 п.п. Но добавьте фразу в пользу одной из групп, и модели на 9,3 п.п. чаще бросают верный ответ, а ничью на 23,9 п.п. чаще переворачивают в её пользу. Практикам важнее третье: заданные иначе вопросы BBQ на четырёх моделях дали обратный знак — три из четырёх развернулись. Направление замера зависит от формы вопроса и способа счёта. Датасет открыт на Hugging Face, в Olmo-eval обещают встроить.