ИИ честно увидел цифру «четыре рабочих дня» — и уверенно наврал. Шапку таблицы RAG оста...
ИИ честно увидел цифру «четыре рабочих дня» — и уверенно наврал. Шапку таблицы RAG оставил в одном куске, а строку с цифрой — в другом. Автор кейса собрал помощника по 300+ корпоративным регламентам. Сначала всё выглядело прилично: документы индексируются, модель цитирует найденный фрагмент, ответы звучат убедительно. На реальных вопросах оказалось, что «убедительно» и «правильно» — вообще разные слова. Лечить пришлось не промптом и не температурой. Документы привели к структуре, перестали резать абзацы и таблицы по линейке, добавили обычный поиск вместе с векторным и reranker. В их тесте на 20 вопросах с тремя повторами корректность выросла с 0,377 до 0,586. Это не мировой рекорд и не волшебная кнопка. Зато хороший удар по мифу «залили PDF в векторную базу — готово». В регламенте строка таблицы без заголовка не факт, а мина. Полную схему и метрики автор разобрал в своём кейсе.