«Поле чудес» для нейросетей: «Яндекс» выложили в опенсорс новый бенчмарк
«Поле чудес» для нейросетей: «Яндекс» выложили в опенсорс новый бенчмарк ▫️ Инженеры «Яндекса» и студенты Школы анализа данных (ШАД) разработали и выложили в открытый доступ MTGBench — набор тестов для оценки многошаговых рассуждений нейросетей. Бенчмарк оценивает не только правильность конечного ответа, но и за сколько шагов модель к нему пришла. В набор входят семь текстовых игр из десятков шагов. Среди них — «Поле чудес», «Данетки», «Элиас», Wordle и другие. Задания проверяют, умеет ли модель: ▫️ логически рассуждать; ▫️ использовать новые данные; ▫️ планировать следующие шаги; ▫️ не противоречить своим прежним ответам; ▫️ применять знания и анализировать подсказки. В четырёх играх правильность решений проверяют алгоритмы, в остальных — ИИ-судья, качество работы которого дополнительно проверили люди. Это важно: бенчмарк не сводится к одному общему баллу, а показывает, где именно модель сильна или слаба. Не только MTGBench ▫️ Как рассказал Forbes руководитель научной группы «Мультимодальные архитектуры ИИ» Института AIRI Ярослав Беспалов, похожим образом устроены AgentBench или InteractiveBench. Но авторы MTGBench показали полезное наблюдение: если дать модели больше времени на размышления, качество растёт неодинаково. Сооснователь онлайн-университета «Зерокодер» Кирилл Пшинник считает такие бенчмарки полезными, но напоминает: практический вопрос для бизнеса шире — какая модель и какой режим работы обеспечат нужное качество за разумные деньги. ▫️ Более доступная модель с правильно организованными проверками может оказаться выгодным решением. Но возможна и обратная ситуация: модель застревает в исправлениях, расходует всё больше токенов и так и не достигает приемлемого качества. Низкий тариф в таком случае не даёт экономии. Подписывайтесь на AI для бизнеса