Почему одной сильной модели мало: исследование 66 конфигураций агентов
Почему одной сильной модели мало: исследование 66 конфигураций агентов Разбираемся в DeepSeek · выпуск 5/5. У одной модели могут меняться и результат, и цена работы, если сменить её агентную среду. Исследователи из Наньянского технологического университета показали это в работе от 1 октября. Они сочетали четыре среды — OpenHands, DeepSeek Harness, PI и openJiuwen — с пятью моделями на трёх наборах задач. Добавили штатные пары Codex/GPT и Claude Code/Claude. Получилось 66 результатов конфигураций. Самый понятный числовой пример — GPT-6 Astra на одной и той же выборке теста Terminal-Bench 4 из 63 задач без задач, требующих ускорителя NVIDIA H100. В PI модель выполнила 38 из 63 задач — 60,32%, а в DeepSeek Harness — 33 из 63, или 52,38%. Средние расходы на обращения к моделям через программный интерфейс (API), по ценам OpenRouter: $4,66 и $19,94 на задачу соответственно. Сюда входят вспомогательные модельные вызовы, но не расходы оценщика. Это условия конкретного исследования, а не тариф для любой работы. Для четырёх из пяти моделей лучший из испытанных вариантов менялся между наборами задач. Это ещё один результат сравнения всей связки — модели, среды и поручения. Среда определяет, какие инструменты видит модель, как до неё доходят ошибки, что остаётся в контексте и когда работа заканчивается. В одном разобранном случае Kimi K3 зависла на команде графического редактора GIMP. Одна среда вернула ошибку по времени, после чего модель проверила уже созданный файл; другая оставила команду ждать до дедлайна. Авторы учитывали один прогон на задачу; настройки и бюджеты сред не были полностью одинаковыми. По этой работе можно увидеть различия испытанных связок, но выбрать вечного победителя или доказать эффект одного компонента нельзя. Эта работа помогает выбирать агента под конкретный результат: удачная связка на одном наборе задач может уступить другой на следующем. Самостоятельный разбор Harness в серии показывает, что именно делает среда между просьбой и результатом. Спецсерия завершена: вычисления, чипы, Harness, интерфейсы и проверка результата. Остальные выпуски можно найти по общей метке. Схема с GIMP: Real Vibe по Figure 3, Yixuan Li и соавторы; CC BY 4.0. https://creativecommons.org/licenses/by/4.0/ Источники: Исследование (1 октября 2026): https://arxiv.org/html/2610.00917v1 #RealVibe #AI #AI_Новости #РазбираемсяВDeepSeek