Почему ИИ не говорит «Я не знаю?»: разбираемся в синдроме уверенного лжеца
Почему ИИ не говорит «Я не знаю?»: разбираемся в синдроме уверенного лжеца Иногда ИИ выдаёт недостоверную информацию с уверенностью эксперта. Это явление называют «галлюцинацией ИИ». Рассмотрим причины и способы борьбы с ним. Одна из главных причин — влияние человеческого фактора при обучении моделей. Тренеры чаще оценивали положительно развёрнутые и уверенные ответы, даже если в них были неточности. В результате модель «научилась» предпочитать выдуманный ответ признанию незнания. Ещё одна причина — эффект снежного кома: нейросеть генерирует текст последовательно, и если первое слово или факт ошибочны, то весь последующий текст будет их оправдывать. При этом у моделей часто нет встроенного механизма проверки фактов. Чтобы снизить вероятность «галлюцинаций», можно использовать несколько приёмов: прописать в инструкции требование отвечать «Я не знаю», если информации нет; заставить модель рассуждать вслух перед ответом; снизить параметр Temperature в настройках модели, чтобы она выбирала более вероятные варианты слов.