Лучший ИИ-агент на реальном корпоративном коде решил меньше четырёх задач из десяти. Во...
Лучший ИИ-агент на реальном корпоративном коде решил меньше четырёх задач из десяти. Вот и весь «заменим разработку к пятнице». В Real-SWE восемь связок «модель + агент» гоняли по десяти задачам из закрытых производственных кодовых баз: биллинг, налоги, миграции, несколько сервисов сразу. Лучший результат — 38,8% успешных решений. В шести задачах из десяти показатели вообще ниже 15%. Не потому что модели вдруг стали тупыми. Просто настоящий проект — это не аккуратный GitHub issue с подсказкой, тестом и готовым контекстом. Там старые правила, интеграции, чьи-то странные договорённости и цена ошибки. Бенчмарк свежий, выборка маленькая, а цифры опубликовали его же авторы — в абсолют не возводим. Но вывод годный: агенту нужны границы, тесты и человек, который понимает, что именно он одобряет. Методику и сырые результаты Real-SWE можно открыть и поковырять самостоятельно.