ИИ-агент и нормативка: пять способов поиска, чтобы агент не выдумывал пункты
ИИ-агент и нормативка: пять способов поиска, чтобы агент не выдумывал пункты Автор вебинара об агентах для документации получил от системного аналитика вопрос: как построить систему, которая отвечает по корпусу приказов ИБ, ГОСТов и спецификаций со ссылкой на конкретный пункт? Проблема в том, что у кода есть арбитр — компилятор, а у нормативки его нет: пересказ несуществующего пункта выглядит так же убедительно, как правильный ответ. Документ юридически значим, поэтому агент должен получать оригинальный текст, а не выжимку. Нормативка отличается от документации к коду рядом условий. Нужны реквизиты — документ, редакция, статья, пункт. Редакции меняются: модель, обученная на текстах до 2025 года, ответит по приказу ФСТЭК № 17, хотя с 1 марта 2026-го действует приказ № 117. Поиск должен понимать словоформы русского языка, уметь читать таблицы «мера × уровень» и находить ответ сразу в двух документах. Иногда правильный ответ — «не нашёл», а сам поиск должен идти в закрытом контуре с журналированием запросов. Автор также отмечает: оговорки про действие аттестатов, гуляющие по обзорам, в тексте приказа отсутствуют — настоящее ограничение лежит в другом документе. Из дискуссии в эфире сложились варианты: поиск grep'ом по файлам, полнотекстовый индекс с морфологией, векторный поиск без генерации, классический RAG с генерацией и иерархический индекс в виде дерева «документ → раздел → статья → пункт». Автор проверил часть из них: ripgrep плохо справляется с морфологией и обратным порядком слов, PostgreSQL со стеммером Snowball отработал, но не нашёл вопрос своими словами про «передачу данных за рубеж», потому что в законе это «трансграничная передача». Векторный поиск берёт перефраз, но теряет на терминах, номерах и таблицах. Главный вывод — генеративный последний шаг RAG придётся отключать или закрывать проверкой цитат. Автор предлагает «компилятор» для цитат: функция нормализует текст (кавычки, тире, неразрывные пробелы) и проверяет, что цитата дословно лежит в указанном пункте. Она не оценивает смысл — это остаётся за экспертом, — но отсекает правдоподобный текст, которого в документе нет. Готовые решения есть: у Anthropic это Citations API (облако, в закрытый контур не встанет), в библиотеке instructor — валидатор с переспросом модели. Готовые правовые базы автор тоже рассмотрел: у КонсультантПлюс, Гаранта, Кодекса есть ИИ-ассистенты, и их сильная сторона — ведение редакций, но ответ везде пишет модель, а аналитику нужен оригинал. Стэнфорд в 2024 году нашёл галлюцинации в 17–33% ответов коммерческих юридических систем Lexis+ AI и Westlaw AI. MCP-серверы вроде garant-mcp отдают дословный текст, но ходят через подписку пользователя. Полное сравнение пяти подходов автор ещё не прогнал — опубликована методика и прогноз. Корпус: 152-ФЗ, приказы ФСТЭК и другие, 20–30 вопросов от специалиста по ИБ, категории от прямых фактов до негативных вопросов, минимум три прогона на вариант. По устройству подходов он даёт стартовые рекомендации: малый статичный корпус с сильной моделью — файлы и grep, слабая модель — индекс с морфологией, большой корпус и обзорные вопросы — иерархическое дерево с резервным поиском. Источник: https://habr.com/ru/articles/1083156/