Индекс Кода: как оболочка и модель влияют на результат кодового агента
Индекс Кода: как оболочка и модель влияют на результат кодового агента Команда Koda провела большой прогон кодовых агентов и выяснила: одна и та же языковая модель показывает разные результаты в разных агентных оболочках. Сама модель не редактирует файлы и не запускает тесты — это делает оболочка (харнесс), которая выдаёт модели системные инструкции и инструменты. Поэтому даже небольшая разница в инструментах на десятках шагов превращается в заметную разницу на выходе. Для сравнения оболочек взяли модель DeepSeek V4 Flash с одинаковым уровнем рассуждений и запустили её в Koda, OpenCode, KiloCode, Claude Code и Ouroboros. На уровне Max Koda набрала 52,2%, ближайшая KiloCode — 49,5%, далее Claude Code 48,2% и OpenCode 47,6%. На Medium результаты плотнее: от 43,4% у OpenCode до 46,9% у Claude Code. Авторы подчёркивают: по этому эксперименту нельзя назвать лучшую оболочку вообще, потому что сравнение шло только на одной модели — вывод лишь в том, что реализация агентного цикла влияет на итог. Для измерений команда собрала единый «Индекс Кода» — 261 агентную задачу из опенсорсных бенчмарков в трёх категориях: доработка существующих репозиториев (125 задач), проектирование ПО с нуля (45 задач) и анализ данных (91 задача). Агент работает в изолированной песочнице без сети и с урезанным git, сам ходит по файлам, запускает команды и правит решение. У каждой задачи автоматическая проверка без частичных баллов, а задачи по проектированию весят в 2,5 раза больше. Если прогон упал или не уложился в лимит времени, задача считается нерешённой — так оценка остаётся консервативной. Категории проверяют разное. В доработке агент получает репозиторий до исправления и текст issue и должен выдать патч: засчитывают, только если проходят скрытые тесты из настоящего pull request и не ломаются старые. В проектировании нужно создать целый проект по спецификации — например, библиотеку aiofiles, где принимают только прохождение всех 211 тестов. В анализе данных важен итоговый артефакт: правильные рассуждения в чате не считаются, если CSV или график отсутствует или неверен. На этом фоне команда обновила собственные модели в KodaCode. Koda Base теперь основана на Qwen 3.8 Flash 125B и выросла с 38,5% до 49,5% — на 11 пунктов при почти неизменном числе шагов (38,5 против 39,7), то есть прирост за счёт качества, а не более длинных траекторий. Koda Pro на базе GLM 5.3 поднялась с 46,7% до 54,3% — лучший результат в наборе — и сократила среднее число шагов с 70,3 до 52,1. Авторы отмечают, что модели адаптировали под их оболочку, а не просто подменили, и ради стабильной работы Pro пришлось оптимизировать инференс на своих GPU. Выводы авторов: выбор модели внутри одной оболочки даёт разброс более 16 пунктов (от 37,7% до 54,3%); харнесс тоже влияет; и нельзя оценивать агента только на исправлении мелких багов — модели, сильные в доработке, могут проседать в проектировании и анализе данных. Дешёвая модель тоже не гарантия экономии: она может делать больше шагов и уходить не туда, поэтому стоимость надо считать по всей траектории, а не по цене токенов. Ограничения: индекс не претендует на универсальную оценку интеллекта — он отвечает лишь на вопрос, как конкретная связка модели и оболочки решает выбранный набор задач в фиксированной среде. Цифры привязаны к конкретным версиям моделей, промптов и уровней рассуждений и изменятся после любого обновления. Авторы советуют относиться к метрике как к ориентиру и проверять модель на своих задачах; методологию они обещают держать открытой и пополнять набор. Источник: https://habr.com/ru/companies/koda/articles/1083546/