⚡️ Сегодня у наших исследователей — повод для гордости и тут же повод для честного разг...
⚡️ Сегодня у наших исследователей — повод для гордости и тут же повод для честного разговора о слабом месте. Яндекс и ШАД (Школа анализа данных) выпустили MTGBench — бенчмарк для проверки многошагового мышления нейросетей. Модель не просто отвечает на вопрос, а играет целую партию: «Данетки», «Поле чудес», «Элиас», Wordle и ещё три игры, где каждый следующий шаг зависит от предыдущих ответов, а ошибку нельзя просто забыть. Статью о бенчмарке приняли на EMNLP 2026 — одну из главных мировых конференций по обработке языка. Попасть туда с российской разработкой — редкое и честно заслуженное достижение. Протестировали 16 моделей, среди них Qwen, Gemini и GPT. Полного списка участников и таблицы с баллами по каждой модели в открытых источниках пока не нашла — войдут ли туда YandexGPT и GigaChat, по статьям не ясно. Чего не проверила — о том пишу прямо. ⚖️ А вот что подтверждено: лучшие модели с включённым режимом рассуждений в среднем обошли людей во всех семи играх. Но на русском языке результаты у моделей заметно слабее, чем на английском. Большинство мировых бенчмарков вроде ARC-AGI или GPQA обычно не делают русскоязычную версию в принципе — а наши сделали и сразу нашли изъян, который касается всех, включая, видимо, самих себя. 🛠 Как применить: если строите бота или конвейер, где модель должна помнить свои прошлые шаги и не путаться — поддержка клиентов, разбор длинных заявок, многошаговые сценарии продаж — не доверяйте английскому демо. Прогоните тот же сценарий на русском отдельно: разрыв может оказаться именно в рассуждении, а не в словаре. 💡 Хорошая новость и неприятная — в одном пакете. Мы умеем делать бенчмарки мирового уровня. И этот же бенчмарк честно показывает: рассуждать на родном языке сложнее даже сильным моделям. Признать это — уже половина пути к тому, чтобы исправить. ixbt.com/news/2026/10/27/danetki-i-pole-cudes-dlia-ii-iandeks-vypustil-test-na-logiceskoe-myslenie-neirosetei.html Нужен виртуальный сотрудник, бот или сайт → https://aleksandrmyasoed.ru/?utm_source=max&utm_medium=post