Как обвязка ИИ-агента утраивает стоимость без роста точности
Как обвязка ИИ-агента утраивает стоимость без роста точности Исследователи из Шаньдунского университета сравнили три производственные обвязки (harness) для ИИ-агентов программирования, удерживая базовые модели неизменными, и обнаружили, что более сложная обвязка может увеличить стоимость решения задач втрое, не давая измеримого выигрыша в точности. В эксперименте на 492 задачах из бенчмарка SWE-bench Verified тяжеловесная обвязка Claude Code и минималистичная mini-SWE-agent (написанная на ~100 строках Python) показали статистически эквивалентные результаты в пределах пяти процентных пунктов. При этом стоимость за задачу варьировалась до трёх раз в зависимости от обвязки: например, на модели GLM-5.3-Flash запуск в Claude Code обходился почти вдвое дороже, чем в mini-SWE-agent, и втрое дороже, чем в OpenCode. Исследователи также выяснили, что разница в стоимости начинается с первого API-запроса: системные промпты и схемы инструментов занимают от 829 токенов в mini-SWE-agent до 16 581 токенов в Claude Code, а поскольку агент пересылает всю историю диалога на каждом шаге, этот накладной расход умножается на число шагов. На сложных задачах смена обвязки меняла набор решённых задач примерно так же часто, как повторный запуск без изменений (13% задач в обоих случаях), что говорит о значительном вкладе случайной вариативности. Для технических лидеров это предупреждение: не стоит выбирать ИИ-агентов по результатам одиночных запусков бенчмарков. Нужно оценивать и точность, и стоимость за задачу, а также учитывать, что сообщаемые вендорами улучшения могут быть следствием случайных колебаний, а не реального прогресса обвязки. Репозиторий: https://github.com/princeton-nlp/SWE-bench Главное: • Сложная обвязка не гарантирует рост точности, но может утроить стоимость. • Разница в стоимости начинается с первого запроса из-за объёма системного промпта. • Повторные запуски одной обвязки дают разброс результатов, что усложняет сравнение. • Выбор обвязки меняет набор решённых задач так же часто, как случайность. #ИИ #LLM #Программирование #Бенчмарки