Eval Agent на 54 критериях: 88,6% как у старших инвесторов
Eval Agent на 54 критериях: 88,6% как у старших инвесторов Агент пишет убедительное memo, но мандат фонда в нём уже потерян — Terminal X не стала длиннее промптом, а повесила второй проход: Eval Agent на 54 критериях. На GPT-6.1 Sol вердикт бьётся со старшим ревьюером в 88,6% случаев и цепляет на ~25% больше таких уходов, чем следующая модель в том же конвейере. Если у вас в продукте есть «агент + политики», загляните, как у них устроен цикл: одна строка причины на fail, запись в Memory, перезапуск сомнительных вердиктов. Близко к eval и rules после coding-агента — только критерии не стиль кода, а позиция «дома». На 500 размеченных кейсах цифра 88,6% против 86,4% у альтернативы — не магия, а отдельный судья с рубрикой.
13 просмотров