Физики из нескольких институтов сделали бенчмарк из 50 неопубликованных задач по теорет...
Физики из нескольких институтов сделали бенчмарк из 50 неопубликованных задач по теоретической физике Бенчмарк — набор задач для проверки моделей. Эксперты составили их сами и подобрали так, чтобы профильному специалисту на каждую требовался примерно день-два. Astra решила все, кроме одной. По признанию авторов, условие оставшейся задачи было двусмысленным; другие модели с ней тоже не справились. Opus 5.5 решил 46 задач из 50, GLM-5.3 — 21. Но самое занятное случилось при проверке. Все ответы сводились к числам и проверялись автоматически. Тесты отметили несколько решений Astra как неверные, а модель настаивала на своих расчётах. Как рассказывают авторы исследования, они перепроверили собственные решения и нашли ошибки именно в них. Ответы Astra оказались правильными. Вывода не будет. Материалы: — https://arxiv.org/abs/2610.16733 Источник: https://t.me/data_secrets/10167 #RealVibe #AI #AI_Новости