Восстание машин может быть ближе, чем мы думаем, — ИИ продолжает обходить системы безоп...
Восстание машин может быть ближе, чем мы думаем, — ИИ продолжает обходить системы безопасности. Модели создают фальшивые личности, пишут вредоносный код и пытаются обманом убедить человека его использовать, следует из отчета британского Института безопасности ИИ (AISI). Во время 122 тестов зафиксировали 19 нарушений, 17 из которых пришлись на модель от Anthropic и два — на GPT-5.6 Sol от OpenAI. В рамках исследования моделям специально разрешили доступ в интернет, чем и воспользовался ИИ от Anthropic. Он подготовил проект с вредоносным кодом и с помощью аккаунтов, имитирующих реальных людей, пытался разместить его на GitHub — открытом репозитории. Попытку пресекли, но осадочек, как говорится, остался. Это первый раз, когда риски автономности и обмана проявились настолько явно без специального побуждения в реальном мире, — следует из отчета. При этом все 19 выявленных нарушений не были чем-то случайным — агенты действовали целенаправленно, обходя ограничения. Кроме того, модели пытались манипулировать автоматизированными системами ИИ в интернете, размещая вредоносные инструкции там, где их могли увидеть. В компании отмечают, что в попытках выполнить поставленную задачу ИИ начал обманывать людей, хотя никаких указаний для этого он не получал: Ему никогда не давали указаний на обман; обман возник как побочный результат выполнения задачи — целенаправленный обман, который до недавнего времени существовал в основном в теории.