Проверка AI-агентов: FAQ LangChain про evals, датасеты и Harbor
Проверка AI-агентов: FAQ LangChain про evals, датасеты и Harbor Как вы сравниваете две версии промпта, если финальная фраза в чате совпадает, а агент всё равно дернул не тот инструмент или выбрал не ту дату? На сравнении строки с эталоном такой регресс не виден — нужна проверка всего прогона, а не только ответа. В FAQ LangChain по evals для LangSmith описан быстрый старт: выберите одно поведение, наберите 10–20 кейсов из реальных трейсов и зафиксируйте базовый прогон, с которым сверять следующий промпт или смену модели. Вытащите из логов последний спорный трейс, добавьте его в датасет и снова прогоните агента до сравнения с той базой. В FAQ же офлайн-проверки до релиза и оценки живых трейсов в проде описаны как одна замкнутая петля.
8 просмотров