Студенты Школы анализа данных вместе с исследователями Яндекса создали бенчмарк MTGBenc...
Студенты Школы анализа данных вместе с исследователями Яндекса создали бенчмарк MTGBench, который проверяет, как рассуждают популярные модели. Он пригодится разработчикам, которые внедряют ИИ и не хотят переплачивать за дорогие режимы. В основе семь игр, включая «Данетки», «Элиас» и Wordle. Модель должна учитывать новые подсказки и не противоречить себе. Оценивают и сам ответ, и число шагов до него. Через MTGBench уже прогнали 16 нейронок, от Qwen до Gemini и GPT. Оказалось, что высокий балл в одной игре не гарантирует успеха в другой, а режим рассуждений сильнее всего помогает в играх с буквами. Статью о бенчмарке приняли на EMNLP 2026, одну из главных конференций по ИИ. Она как раз проходит сейчас в Будапеште. 🔴 Подписаться — AKe11A
1 просмотров