Нейросети теперь можно проверить на логику по-новому — студенты ШАДа и исследователи Ян...
Нейросети теперь можно проверить на логику по-новому — студенты ШАДа и исследователи Яндекса опубликовали бенчмарк MTGBench, который помогает оценить, как разные модели справляются с многошаговыми заданиями и как рассуждения влияют на их результаты. Внутри семь текстовых игр на русском и английском. Среди них: «Данетки», «Алиас», Wordle, «Поле чудес» и другие. Выяснилось, что рассуждения заметнее помогали в заданиях с буквами и символами. В заданиях на знания и понимание смысла эффект был менее выраженным и зависел от модели. Статью о MTGBench опубликовали в Findings of EMNLP 2026. Студенты ШАДа стали соавторами международного исследования уже во время учёбы. Код, задания и результаты — на GitHub.
Канал в каталоге Максиметера
1 130 подписчиков · IT и технологии