У коучингового бота «эталонный ответ» в датасете часто врёт: eval-first у Numan
У коучингового бота «эталонный ответ» в датасете часто врёт: eval-first у Numan Ты правишь промпт третью неделю, а краснеет только офлайн-датасет — потому что «пациент» в тесте идёт по сценарию, а не по твоему первому ответу. У коуча Nu в Numan такой скриптовый мультитур они выкинули из ядра eval. Проверки гоняют через тот же LangGraph, что видит пользователь: без второго harness с копией промпта. Одноходовые safety-задачи — themed datasets и оценки по категориям; длинный коучинг — отдельная симуляция, где дешёвая модель отвечает на живые реплики агента. В кейсе LangChain разобрали рубрику, которая требовала эмпатию за два хода, и миграцию между провайдерами за день вместо недель. Если собираешь агента в LangGraph или Cursor — сначала критерии: что судья видит из одного хода, а что только из всего транскрипта.