🤖 Яндекс и ШАД выпустили MTGBench — набор тестов для сравнения моделей в текстовых зад...
🤖 Яндекс и ШАД выпустили MTGBench — набор тестов для сравнения моделей в текстовых задачах. В нем семь многошаговых текстовых игр на русском и английском — среди них «Поле чудес», «Данетки», «Алиас» и Wordle. Они проверяют, как ИИ планирует действия, учитывает подсказки и использует информацию из предыдущих ходов. Прогнали 16 моделей: оказалось, что длинные рассуждения не всегда дают буст, а задания на русском в целом даются моделям хуже, чем на английском. Код уже в открытом доступе на GitHub. Статью о MTGBench приняли на EMNLP 2026. Студенты ШАДа стали соавторами этой работы еще во время учебы.
3 просмотров