Рекурсивное самоулучшение: не пиши вызов инструмента текстом
Рекурсивное самоулучшение: не пиши вызов инструмента текстом Исследователи Google Cloud AI Research и Northwestern University опубликовали работу про Harness2, систему, в которой агент сам переписывает собственный харнесс. Харнессом называют все, что окружает модель и превращает ее в агента: системный промпт, память, навыки, инструменты, скрипты и субагентов. Веса модели не меняются. Авторы относят подход к рекурсивному самоулучшению, то есть к идее ИИ, который улучшает сам себя. Главная трудность таких систем в том, как понять, помогла ли правка. На бенчмарке можно свериться с правильным ответом, а в реальной работе его нет. Harness2 вместо этого сравнивает поведение агента. Сначала агент выполняет задачу с исходным харнессом. Затем редактор предлагает две измененные версии, обе прогоняются на той же задаче, и в итоговый харнесс попадают только правки, которые заметно исправили поведение по сравнению с исходным прогоном. Выводы каждого такого цикла копятся в библиотеке для следующих задач. Редактором работает Claude Opus 4.8, исполнителями выступают Gemini 3.5 Flash и GLM-5. Сильнее всего эффект на задачах по разработке. В бенчмарке WorkBuddy-Bench от Tencent есть раздел Code, где результат проверяют скрытыми тестами и моделью-судьей. Исходным харнессом служил OpenCode. Один цикл улучшения поднял результат GLM-5 с 58,4 до 77,1 балла. Gemini 3.5 Flash с тем же харнессом набирает 73,4, а после такого же цикла 76,5. Открытая модель с доработанным харнессом догнала закрытую и немного ее обошла. Цифры авторские, усреднены по трем запускам. Прирост GLM-5 намного больше разброса между запусками, а прирост Gemini в 3,1 балла с ним уже сопоставим. Систему можно запустить на пять циклов параллельно, тогда модель-судья выбирает лучший из полученных результатов, и GLM-5 доходит до 81,9. Но по графику в статье один цикл увеличивает расход токенов на задачу примерно всемеро, а пять параллельных примерно в 30 раз. К тому же судья ошибается: на одной из задач по коду он выбрал решение на 55 баллов, хотя было решение на 95. В одной из задач агенту нужно было исправить код веб-приложения. Базовый прогон набрал 60 баллов, хотя ни одного инструмента модель не запустила: вызовы она выводила обычным текстом, и ход заканчивался, ничего не выполнив. Рекурсивное самоулучшение дописало в харнесс файл на 1 023 байта с правилом никогда так не делать. Балл вырос до 100. @anti_agi