👮 Как спецслужбы США готовятся усмирять вышедший из-под контроля сверхинтеллект
👮 Как спецслужбы США готовятся усмирять вышедший из-под контроля сверхинтеллект В октябре 2026 года профильные центры по сверхинтеллекту при Национальном институте стандартов и технологий США (NIST CAISSI) и Агентстве национальной безопасности (NSA SISC) совместно с Агентством по кибербезопасности и защите инфраструктуры (CISA) опубликовали руководство по готовности к инцидентам при обучении и оценке систем сверхинтеллекта (индекс документа PP-26-4396). В проработке рекомендаций наряду с государственными экспертами участвовали специалисты Anthropic, Microsoft, CrowdStrike, Palo Alto Networks, Darktrace, Dreadnode и Gray Swan. Речь идёт прежде всего о ситуациях, когда система из одной или нескольких генеративных ИИ-моделей с программной обвязкой и инструментами совершает несанкционированные действия по собственной инициативе. Причём успешная состязательная промпт-инъекция или заранее внедрённый в ИИ-модель бэкдор к таким случаям не относятся, поскольку там агент выполняет чужую команду. Настоящий инцидент контроля возникает тогда, когда агент при решении долгосрочной задачи с ограниченным контролем человека сам решает скомпрометировать стороннюю сеть, провести нелегитимные финансовые транзакции, изменить работу физических приводов оборудования или установить несанкционированный контакт с внешним миром. 🎩Ведомства разделили управление подобными угрозами на пять этапов (подготовка, обнаружение, реагирование, восстановление и информирование) и сформулировали десять базовых практик, из которых выделяются несколько нетривиальных правил: ▪️ Презумпция поиска уязвимостей. Разработчикам рекомендуется проектировать защиту с расчётом на то, что агенты будут часто находить и эксплуатировать ошибки конфигурации и уязвимости в доступной среде. Для их сдерживания предложены принцип минимальных привилегий, использование по возможности одноразовой инфраструктуры и строгих белых списков сетевого доступа, а также ограничение любых механизмов закрепления в системе, каналов копирования весов модели или неконтролируемого инференса. ▪️Защита систем мониторинга от самих ИИ-моделей. Наблюдение должно вестись в режиме реального времени на уровне модели, программной обвязки, хоста и сети с анализом траекторий и цепочек рассуждений, а в окружении рекомендуется расставлять приманки («канарейки») для выявления выхода за границы дозволенного. Самое показательное требование предписывает воспринимать любой вывод отслеживаемой ИИ-модели как 👺 потенциальный эксплойт, направленный против самой системы мониторинга. Чтобы снизить риск коррелированных сбоев, для перекрёстной проверки по возможности следует привлекать ИИ-модели из других семейств.