Из провалов агента в датасет: пайплайн AutoSynthData от ServiceNow
Из провалов агента в датасет: пайплайн AutoSynthData от ServiceNow Один фейл агента в логах — это не датасет. ServiceNow в AutoSynthData гоняют слабую модель и сильного «учителя» в одной среде: из разрыва в прогонах собирают новые запросы и принимают только то, что реально проходит проверку в окружении, а не красивый текст в ответе. Пока целевая модель стабильно не закрывает дыру, генератор варьирует сущности и формулировки вокруг того же навыка — без статичного дампа с GitHub. В разборе — как Target и Multiply, пороги 1 из 3 и 2 из 3, и зачем портят эталонный финал, чтобы отсечь мягкий verifier. Если доучиваете агента на внутренних API или MCP: сравните свой пайплайн с этим контуром — у вас из одного провала рождается десяток кейсов с жёсткой проверкой, или копится просто красивый чат?