Нашел интересное исследование, что ИИ ошибаются в 99% финансовых ответов, связанных со ...
Нашел интересное исследование, что ИИ ошибаются в 99% финансовых ответов, связанных со сложными вопросами. В чем там было дело: ученые тестировали 18 моделей и задали им более 10 тысяч финансовых вопросов связанных с законодательством различных стран. Общий процент правильных ответов - 43%. В подавляющем случае - на элементарные вопросы. На сложные вопросы, количество верных ответов - меньше 1%. В одном из случаев, ответ Claude мог привести к огромному штрафу бизнеса, а ChatGPT выдумывал правила студенческих займов. Даже Claude Opus 5 не справился - у него 61% верных ответов. Главное здесь разобраться что действительно могут ИИ и что им ПОКА не стоит поручать. Что думаете?
42 просмотров