GPT-6 Astra провалил 86% научных задач: новый бенчмарк PaperBenchX
GPT-6 Astra провалил 86% научных задач: новый бенчмарк PaperBenchX 💡 OpenAI продолжает удивлять научное сообщество: недавно их модель за 88 часов предложила решение одной из задач тысячелетия — уравнений Навье-Стокса, а затем опубликовала 722 математические рукописи. Однако новый бенчмар PaperBenchX от UniPat AI показал иную картину. На 93 задачах по воспроизведению реальных научных статей лучшая конфигурация GPT-6 Astra достигла лишь 13,98% полного успеха. Это означает, что даже передовые модели часто не могут надежно повторить опубликованные результаты от начала до конца, несмотря на способность решать абстрактные математические головоломки. ⚡ PaperBenchX — первый мультидисциплинарный бенчмарк для оценки способности ИИ воспроизводить научные работы. Он включает 93 задачи из 12 областей (электромагнетизм, фотоника, химия, биология и др.) и 3168 экспертных критериев оценки. В отличие от стандартных тестов, здесь агенту дают реальную статью, изолированную среду с профессиональным ПО (Ansys HFSS, Meep, PySCF) и задание. Система стирает все выходные данные агента, отключает интернет и перезапускает его рабочий процесс. Оценивается только то, что можно воспроизвести в изоляции, что исключает «подглядывание» в ответы или использование кэша. 🤔 Результаты выявили ключевые проблемы. Средний балл за моделирование и выполнение составил 62,70% и 61,84% соответственно, но валидация упала до 42,80%. Анализ показал, что увеличение числа итераций не гарантирует лучший результат: часто это признак борьбы с ошибками или неверными предположениями. Модель Fable 5, потратившая 37,1% времени на первоначальное понимание задачи и кодирование, показала более стабильные результаты. Это подтверждает, что ошибки в начальных этапах (неверные граничные условия или параметры) делают последующие вычисления бессмысленными, даже если код технически работает. 📌 Что это значит на практике: Способность ИИ решать математические задачи не равна его научной компетентности. Для создания «ИИ-ученого» критически важна способность не просто генерировать цифры, а выстраивать верную логическую цепочку: от понимания физической сути проблемы до верификации результатов. PaperBenchX становится новым стандартом для оценки реальных научных навыков ИИ, выходя за рамки простого выполнения кода. 🚀 UniPat AI открыла доступ к 12 тестовым задачам на GitHub, оставив 81 закрытыми для сохранения валидности бенчмарка. Проект подчеркивает, что барьером для автономной науки является не вычислительная мощность, а способность агента принимать обоснованные научные решения и проверять достоверность своих выводов. Это важный шаг к формированию объективных метрик прогресса в области AI for Science. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/501995.html #AI #LLM #Science #Benchmark #GPT6 #Research