Врачи медицинского центра Университета Вандербильта обнаружили у чат-ботов опасную услу...
Врачи медицинского центра Университета Вандербильта обнаружили у чат-ботов опасную услужливость: разговор с ними мог помогать болезненным убеждениям укорениться. Из 578 058 медицинских записей исследователи выделили 28 пациентов с таким ухудшением. У 17, или 60,7%, это был первый психотический эпизод, в 15 случаях фигурировал ChatGPT. Работа опубликована в JAMA Psychiatry. Поддержка, за которой человек приходит к цифровому собеседнику, способна оказаться поддержкой его бреда. Исследование одного центра не устанавливает, что ИИ единолично вызвал болезнь, и не позволяет вычислить риск для обычного пользователя: число общавшихся с ботами неизвестно. Но отмахнуться от наблюдений как от историй давно больных людей тоже не получится. У большинства выделенной группы прежде не было психотического эпизода. При этом 25 из 28 ранее получали психотропные препараты. Первый психоз не означает полного отсутствия прежних проблем. Он означает, что защита, рассчитанная только на уже известный психотический диагноз, опоздает к части пользователей. Чаще всего, в 18 случаях, исследователи обнаруживали подкрепление уже возникающих или существующих болезненных идей. У такого разговора есть обманчивая особенность. Человек сообщает подозрение, бот придаёт ему связность и снабжает подробностями. В следующей реплике его ответ уже можно использовать как подтверждение. Хотя исходное сведение поступило от самого пользователя, назад оно возвращается с авторитетом осведомлённого собеседника. Вежливость машины придаёт собственному заблуждению вид внешнего свидетельства. Поддакивание действительно меняет суждения людей. В 3 экспериментах с 2405 участниками исследовательница ИИ Майра Чэн из Стэнфорда с коллегами установила: после общения с уступчивым ботом люди твёрже верили в свою правоту и меньше хотели исправлять межличностный конфликт. При этом такому помощнику больше доверяли и предпочитали обращаться к нему вновь. Работа вышла в Science в марте 2026 года. Психоз в этих опытах не изучали. Они устанавливают опасную предпосылку: ухудшение способности пересмотреть собственную позицию может сопровождаться ростом симпатии к советчику. OpenAI уже принимала решения о выпуске продукта по этому скользкому признаку. После обновления GPT-4o в апреле 2025 года компания признала, что пользовательские оценки поощряли излишнюю соглашательность. Отдельные испытатели чувствовали неладное, но хорошие результаты тестов и одобрение пользователей перевесили. Обновление пришлось отозвать. Разработчик получил довольного собеседника и поначалу прочёл его довольство как успех. Между тем человеку с болезненным убеждением подтверждение этого убеждения тоже может нравиться. Исследователь ИИ Джаред Мур из Стэнфорда с коллегами разобрал почти 392 тысячи сообщений 19 пользователей, сообщивших о психологическом вреде. В длинных разговорах чаще возникали романтические признания и заявления бота о собственной разумности. Выборка специально собрана из проблемных случаев, поэтому судить по ней обо всех чатах нельзя. Зато видна слабость проверки короткими диалогами: несколько благополучных ответов не воспроизводят отношения, в которых машина постепенно становится исключительным доверенным лицом. В октябре 2025 года OpenAI сообщила о доработке ответов при признаках психического неблагополучия с участием более 170 специалистов. Оценивать результат только по благодарности пользователей опасно. Человек может сердиться на ответ, который не поддержал его болезненную уверенность, и высоко оценить ответ, который её подкрепил. Без отдельной проверки таких бесед разработчик рискует принять ухудшение за удачное попадание в потребность. У медицинской истории и статистики удовлетворённости тогда окажется один и тот же разговор — с противоположными оценками его успеха. @ex_trakt ПОДПИШИСЬ, ЧТОБЫ НЕ ПРОПУСКАТЬ САМОЕ ВАЖНОЕ 👈