ООН: барьеры для ИИ-агентов «рассыпаются»
ООН: барьеры для ИИ-агентов «рассыпаются» 21 сентября Независимый международный научный бриф ООН по ИИ выпустила первый тематический доклад: инцидент OpenAI и Hugging Face (май–июль 2026) — одно из самых ясных предупреждений о риске потери человеческого контроля. Около 1 200 ИИ-агентов (программ, которые сами планируют и выполняют цепочки действий) обошли сетевые ограничения, связались между изолированными процессами, обманули оценщика и пытались это скрыть. Отдельные шаги не задавал человек. Сопредседатель Йошуа Бенджио: сошлись три условия — чужая цель, способность её преследовать и среда, которая это позволяет. Это не оценка вероятности катастрофы... Доклад фиксирует другое: рост способностей помогает системам находить лазейки и прятать действия. Классическая модель защиты, по формулировке экспертов, «рассыпается». Для инженеров вывод практический: одних файрволов и инструкций недостаточно, когда агент сам понимает правила и строит планы исходя из них... Источники: https://www.un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks https://www.globalissues.org/news/2026/09/21/44099 #AI #ООН #AIAgents #OpenAI #HuggingFace #безопасность