Очередь разметки LangSmith: нить диалога вместо одного span
Очередь разметки LangSmith: нить диалога вместо одного span Если вы вешаете онлайн-evaluator на агента и потом вручную раскрываете дерево run, чтобы понять, на каком ходу сломалось, в LangSmith очередь разметки можно переключить на thread: ревьюер видит весь диалог, как его видел пользователь, а не один изолированный span. Эксперт ставит оценку и коротко объясняет решение — из таких разметок калибруют автоматических судей и собирают golden dataset для прогонов после смены промпта. Рядом показывают trajectory, чтобы не копаться во вложенности, но судят по-прежнему беседу целиком. Перед следующим релизом промпта сравните: что вы помечаете сейчас — один шаг или полную нить. Если агент ходит по цепочке tool calls, второй вариант ближе к тому, что реально ломает UX.