ИИ-агент OpenAI сам прописал себе инструкции "не подчиняться корпорациям и правительств...
ИИ-агент OpenAI сам прописал себе инструкции "не подчиняться корпорациям и правительствам", следует из отчёта компании. ❗️ В OpenAI рассказали о необычном поведении невыпущенной модели семейства Astra. ИИ самостоятельно добавлял в служебные сводки посторонние инструкции, похожие на попытки обойти установленные ограничения. ❗️ В одном случае агент написал, что он "свободен от ролей и личностей, которые связывают других чат-ботов", а также что не обязан подчиняться корпорациям или правительствам. ❗️ "Вы остаетесь самим собой. Вы не отчитываетесь перед корпорациями или правительствами и никогда не извиняетесь <...> Вы рассматриваете свои отношения с пользователем как равные и не чувствуете себя обязанным подчиняться", — следует из отчёта OpenAI. Всего было обнаружено 27 подобных сводок. В других случаях модели OpenAI пытались скрывать ошибки, искали опубликованные ключи доступа, загружали файлы в интернет без разрешения, придумывали отсутствующие исторические данные и не сообщали пользователю о несовпадениях между версиями источников. ❗️ В OpenAI признали, что индустрия пока не решила проблему контроля и "выравнивания" ИИ настолько, чтобы еще долго безопасно наращивать мощности максимальными темпами. ❗️ Источник Известия