🙂 Бенчмарк, который считает деньги
🙂 Бенчмарк, который считает деньги Длинные рассуждения делают ответы нейросетей дороже, но не всегда точнее — студенты ШАДа и исследователи Яндекса выпустили открытый бенчмарк MTGBench, который помогает понять, где они окупаются. 📌 Внутри семь игровых испытаний на русском и английском. Модель проверяют по шагам: планирование, логика, работа со знаниями, учёт новой информации, непротиворечивость выводов. 📌 Среди 16 протестированных моделей — разработки OpenAI, Google, DeepSeek и Qwen. Рассуждения сильнее всего помогли в задачах с символами и анализом подсказок. 📌 А вот в извлечении знаний и понимании смысла прирост оказался заметно меньше и сильно зависел от модели. Там дополнительные рассуждения чаще только добавляют стоимости. 📌 При выборе модели авторы советуют смотреть не только на общий рейтинг, но и на язык: в части заданий русский даётся моделям тяжелее. Сообщается, что MTGBench уже доступен на GitHub, а статью о нём приняли на EMNLP 2026 — одну из ведущих конференций по обработке естественного языка. Подписаться | KOD.RU
Канал в каталоге Максиметера
25 718 подписчиков · IT и технологии