Яндекс и ШАД представили MTGBench — набор тестов для сравнения моделей в текстовых зада...
Яндекс и ШАД представили MTGBench — набор тестов для сравнения моделей в текстовых задачах. В него вошли семь многошаговых игр на русском и английском, включая «Поле чудес», «Данетки», «Алиас» и Wordle. Они проверяют, как ИИ планирует действия, учитывает подсказки и использует информацию с предыдущих ходов. Разработчики прогнали 16 моделей: оказалось, что длинные рассуждения не всегда дают прирост, а русскоязычные задания даются моделям хуже, чем англоязычные. Код размещен в открытом доступе на GitHub. Статья принята на EMNLP 2026, соавторами стали студенты ШАД. 🖥Мы в Телеграм Новости IT Всемм 💻Мы в Max Новости IT Всемм
1 просмотров