Почему фейковая статистика попадает в ответы больших языковых моделей
Почему фейковая статистика попадает в ответы больших языковых моделей Исследователи обнаружили тревожную закономерность: большие языковые модели (LLM) часто цитируют недостоверные данные, если те были опубликованы в открытых источниках. Даже явно абсурдные цифры, поданные в виде статистики, могут быть воспроизведены моделями как факты. Причина — в том, как обучаются такие системы: они анализируют огромные массивы текстов из интернета, включая форумы, блоги и социальные сети, и не всегда способны отличить авторитетные источники от сомнительных. Эксперимент показал, что достаточно разместить сфабрикованную статистику в нескольких публичных обсуждениях, чтобы она попала в обучающие выборки. Модели запоминают повторяющиеся утверждения и затем выдают их в ответах, не проверяя достоверность. Это создает риск для пользователей, которые полагаются на LLM при принятии решений — от медицинских рекомендаций до финансовых прогнозов. Проблема усугубляется тем, что LLM часто формулируют ответы уверенно, даже когда данные сомнительны. Это явление известно как «галлюцинация», но в данном случае речь не о случайной ошибке, а о систематическом воспроизведении ложной информации. Пока нет простого решения: фильтрация источников на этапе обучения сложна, а проверка фактов в реальном времени требует дополнительных вычислительных ресурсов. Тем не менее, разработчики работают над методами повышения достоверности ответов. Один из подходов — обучение моделей указывать степень уверенности и источники информации. Другой — создание механизмов перекрестной проверки данных. Однако пока пользователям стоит критически относиться к цифрам, которые приводят LLM, и по возможности сверять их с официальными источниками. Главное: • LLM цитируют фейковую статистику из открытых источников. • Причина — особенности обучения на нефильтрованных текстах. • Модели воспроизводят ложь с высокой уверенностью. • Разработчики ищут способы проверки фактов в ответах. • Пользователям важно критически оценивать данные от LLM. #ИИ #LLM #Достоверность #Безопасность #Данные