Агент лучше пишут патчи
Агент лучше пишут патчи Лаборатория Einsia опубликовала SWE Refactor Bench — проверку, умеют ли кодирующие ИИ-агенты переносить весь проект на другой стек и ничего не сломать. Двадцать реальных миграций: C в Rust, zlib в Java, смена сборки. 520 прогонов восьми моделей. Все три этапа прошли только 28 попыток — 5,4%. Тринадцать задач не решил никто. Лучший результат у Claude Opus 5: 47 из 100. Часть агентов «сохраняла» поведение, просто не делая перенос. Другие переносили и ломали тесты. Смена системы сборки даётся лучше, чем смена языка. Итог спокойный и полезный: правка бага — одно, инженерной работы по всему дереву исходников - совсем другое... Источники: https://arxiv.org/abs/2608.23564 https://lab.einsia.ai/swe-refactor-bench/ #AI #CodingAgents #SWE #Benchmark #Claude #OpenSource