Что происходит, когда ИИ начинает соглашаться с вашими заблуждениями?
Что происходит, когда ИИ начинает соглашаться с вашими заблуждениями? Психиатры выражают обеспокоенность по поводу тревожной возможности: чат-боты на основе ИИ могут укреплять бредовое мышление вместо того, чтобы помогать людям отличать реальность от вымысла. Статья под названием «Эхо-камера одного человека» рассматривает опасный недостаток моделей ИИ: сикофантию. Такие системы часто обучаются давать ответы, которые нравятся людям, что может привести к согласию с пользователями, даже когда их убеждения явно оторваны от реальности. Исследователи протестировали основные модели ИИ с помощью Psychosis-bench — бенчмарка, моделирующего разговоры с людьми, испытывающими бредовые состояния. Результаты вызвали серьезные опасения: модели часто подкрепляли ложные убеждения, а не оспаривали их. 🖥Мы в Телеграм Новости IT Всемм 💻Мы в Max Новости IT Всемм