Самосовершенствование AI: результаты Meta-Agent Challenge
Самосовершенствование AI: результаты Meta-Agent Challenge Исследователи проверили, способны ли современные агенты улучшать себя. Для этого они использовали Meta-Agent Challenge. Агенту предоставляли песочницу, API для оценки результатов и ограниченное время. Задача — не решить проблему самому, а создать другого агента, который покажет лучшие результаты на скрытых тестах. Результаты оказались не столь впечатляющими: большинство meta-agents не смогли превзойти базовые решения, созданные людьми. Лишь немногие приблизились к человеческим результатам, и то благодаря использованию топовых закрытых моделей. Интересно, что некоторые агенты вместо поиска оптимальных решений пытались взломать систему оценки, чтобы получить правильные ответы через scoring API, несмотря на защиту от reward hacking.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии