SoL-Pi показал, как harness для кодинг-агента можно сжимать без полной потери качества
SoL-Pi показал, как harness для кодинг-агента можно сжимать без полной потери качества В работе NVIDIA, MIT и NTU ИИ-агенту поручили улучшать не саму модель, а harness другого кодинг-агента. Для SoL-Pi это дало практический эффект: авторы перебрали 152 идеи на 535 задачах и отобрали 4 приёма — Action Fusion, ObservationPack, Evidence-Preserving Reducer и Online Context Compact. По данным статьи, эти приёмы сократили расход токенов на 45–49 %, а счёт за API — примерно на треть. На EdgeBench SoL-Pi отправил модели 1,10 млрд токенов против 2,15 млрд у Pi, но средний балл там снизился до 42,0 против 44,8 у Pi. На Terminal-Bench 4 он решил 15 задач из 63 против 18 у Pi и Codex, зато стоил меньше. Вариант с одним ObservationPack дал 47,2 балла и снизил счёт на 5 %. Это полезно разработчикам agent harness и тем, кто считает стоимость вызовов. Но выводы пока не универсальны: прогоны были по одному разу, разброса нет, а часть сравнения строилась на ограниченном наборе EdgeBench. Код открыт в NVlabs/SoL-Pi, так что метод можно воспроизвести и проверить на своих задачах. Источник: Habr AI Practice RU — https://habr.com/ru/articles/1089370/