Однажды мы улучшили ИИ-ассистента в одном банке: в некоторых тематиках заменили сценарн...
Однажды мы улучшили ИИ-ассистента в одном банке: в некоторых тематиках заменили сценарного бота на RAG и LLM, чтобы он мог генерировать ответы из внутренней базы знаний. В итоге количество верных ответов выросло в 2 раза, неверных – снизилось в 13 раз. Клиенты стали на 20% довольнее и реже обращались к оператору, потому что ответы ИИ их устраивали. Но вначале, когда мы подключили RAG – точность ответов была чуть более 50% и LLM постоянно галлюцинировала. В чем было дело – рассказывает наш руководитель направления по развитию ИИ-продуктов Михаил Воронин в статье на VC. Одну из причин заспойлерили на картинке: Плохое качество исходных данных Компании могут хранить разные версии одной и той же статьи, устаревшие инструкции или просто плохо структурированные тексты. Для человека такие противоречия могут быть очевидны, но для нейросети – нет: при векторизации оба фрагмента выглядят релевантными запросу, поэтому модель отвечает то так, то иначе. Решение: нужно переструктурировать базу знаний – убрать дубли и противоречия, обновить данные. Именно здесь крылась проблема нашего кейса, и когда мы актуализировали всю информацию, достигли точности 89%. Но есть еще три проблемы, из-за которых RAG может терять более 30% точности. Читайте о них в новой статье!