Контроль качества: как заметить ошибку раньше клиента.
Контроль качества: как заметить ошибку раньше клиента. Мы уже определили задачу агента, построили логику сценариев и связали его с рабочими сервисами. После этого возникает соблазн нажать кнопку запуска и считать внедрение завершённым. Но работающая система отличается от красивой демонстрации тем, что её результат можно проверить. Именно для этого нужен контроль качества. Важно понимать: проверяется не только то, насколько вежливо и грамотно агент ответил клиенту. Ответ может выглядеть убедительно, а задача при этом останется невыполненной. Допустим, человек написал, что хочет записаться на консультацию. Агент уточнил имя, телефон и удобное время, после чего сообщил, что заявка принята. Снаружи всё выглядит нормально. Но контроль должен показать: - правильно ли записаны данные; - действительно ли свободно выбранное время; - создана ли заявка; - попала ли она нужному сотруднику; - получил ли менеджер уведомление; - не пообещал ли агент то, что не предусмотрено правилами. То есть проверяется весь путь задачи — от входящего сообщения до конечного результата. Для этого заранее определяют четыре вещи. Первое — критерии качества. Что считается правильной работой? Например: агент верно понял запрос, использовал актуальную информацию, собрал обязательные данные и выполнил следующее действие по сценарию. Второе — точки проверки. Где может возникнуть ошибка? При распознавании вопроса, выборе информации, сохранении данных, записи в календарь или передаче заявки. Третье — ответственность. Кто просматривает результаты, разбирает спорные случаи и принимает решение об изменении правил? Без ответственного человека контроль быстро превращается в формальность. Четвёртое — фиксация ошибок. Недостаточно исправить конкретный ответ и забыть о нём. Нужно понять причину. Возможно, в базе не было нужной информации. Или правило оказалось двусмысленным. Не был предусмотрен отдельный сценарий. Либо одна из интеграций передала данные неправильно. После этого исправляется не только последствие, но и сама система: обновляется информация, уточняется правило, добавляется ветка сценария или проверяется подключение сервиса. На старте контроль обычно должен быть плотнее. Нужно увидеть, как агент ведёт себя в обычных, неполных и нестандартных ситуациях. Когда основные маршруты проверены и ошибки разобраны, часть контроля можно сделать выборочной. Но полностью убирать его нельзя. Условия бизнеса меняются. Обновляются цены, услуги и расписание. Появляются новые вопросы клиентов. То, что работало вчера, со временем может потребовать корректировки. Поэтому контроль качества — это не недоверие к ИИ и не ручная перепроверка каждого слова навсегда. Это понятная обратная связь: результат → проверка → причина ошибки → изменение системы → повторная проверка. На мой взгляд, именно такой подход делает работу агента управляемой. Мы не ждём от технологии безошибочности. Мы создаём порядок, в котором проблему можно вовремя заметить, объяснить и устранить. Теперь у нас собрана вся конструкция: задача, сценарии, данные, интеграции и контроль. В следующем посте покажем, как этот метод выглядит на примере одной рабочей задачи. Дневник предпринимателя.