ИИ ошибается в 57% финансовых ответов, а на сложных вопросах доля ошибок достигает 99%....
ИИ ошибается в 57% финансовых ответов, а на сложных вопросах доля ошибок достигает 99%. В исследовании 18 моделей получили более 10 тысяч вопросов: алгоритмы путались в расчётах, игнорировали новые налоговые правила и ссылались на несуществующие нормы. В одном из случаев ошибка Claude Haiku в налоговом вопросе могла привести к крупному штрафу, а другой бот выдумал правило об отмене студенческих займов при переезде за границу. Лучший результат показал Claude Opus 5 в режиме рассуждений, но и он ошибался в 39% ответов.
3 274 просмотров