AI-агенты пока не умеют вести открытые исследования
AI-агенты пока не умеют вести открытые исследования Новое исследование на arXiv показывает: даже топовые AI-агенты (системы, которые сами планируют и выполняют цепочки действий) справляются с инженерной частью, но проваливают саму суть научного поиска. Учёные провели «теневые оценки» (shadow evaluations). Агенту дают центральный вопрос из настоящей неопубликованной статьи, а её авторы потом оценивают результат. В эксперименте frontier-агенты получили вопросы из двух работ, готовящихся к NeurIPS 2026, шесть дней времени и тысячи долларов. Они самостоятельно написали весь код и провели эксперименты. Однако оригинальные авторы обеих статей однозначно опровергли результаты: прогресс в ответе на исследовательский вопрос оказался незначительным. Пять повторяющихся проблем: плохая оценка «планки» publishable-работы, отсутствие креативности при сбоях дизайна, неумение эффективно отступать от тупиков, слабое понимание ресурсов и «дрейф инструкций». Проверка на другой модели и scaffold подтвердила те же слабости. Пока агенты отлично автоматизируют рутину исследований, критические части — суждение, креативность, понимание «что важно» — остаются за людьми. Насколько быстро эти пробелы закроются?... Или мы переоцениваем готовность AI к автономной науке? Источники: https://arxiv.org/abs/2607.27191 #AI #AIAgents #arXiv #Research #NeurIPS #AgenticAI