🫠 ИИ изобрели свой "английский" язык, не понятный человеку.
🫠 ИИ изобрели свой "английский" язык, не понятный человеку. Ну всё, раз роботы уже создали свой сленг, осталось только завести закрытый чат без людей, - подумал сначала я, но оригинальное исследование Emergence World оказалось гораздо интереснее (и это не то, что ИИ придумали свои словечки) Прикол в том, что поведение группы ИИ может сильно отличаться от поведения отдельных моделей: когда они начинают действовать вместе, возникают новые неожиданные эффекты. Учёные наблюдали за 8 виртуальными мирами, в каждом из которых было по 10 агентов, а эксперимент продолжался 16 дней. То есть это была не переписка двух чат-ботов на пару минут, а попытка посмотреть, что происходит, когда ИИ долго живут, взаимодействуют, пользуются инструментами, запоминают информацию и решают задачи вместе. И вот в таких условиях у агентов начали появляться необычные способы общения: новые выражения, метафоры и жаргон, который людям было сложно интерпретировать. И тут я поймал себя на неприятной мысли: а насколько мы вообще правильно понимаем то, что выдаёт нейросеть сейчас? Ведь гораздо опаснее, если они будут говорить с нами на совершенно понятном языке, а мы будем читать, соглашаться и не замечать, где именно нас уже надули. Нейронка может написать красивое, уверенное и очень логичное объяснение. А мы из-за такой его подачи можем принять за чистую монету: - фактические и логические ошибки, - подмены фактов, - неверные исходные предпосылки, - любую другую ложную информацию. Поэтому чем умнее и хитрее становятся ИИ, тем меньше я бы им доверял. Нужен промпт, как правильно проверять нейронку на достоверность фактов, логику и выводы?