👆Комментируя идею наделить подобные алгоритмы правом самостоятельно поражать цели, про...
👆Комментируя идею наделить подобные алгоритмы правом самостоятельно поражать цели, профессор машинного обучения Монреальского университета Дэвид Крюгер указывает на фундаментальную ненадёжность современных ИИ-моделей. «Учитывая известные режимы отказа современной парадигмы ИИ, создавать автономные ИИ-системы с мандатом на „нейтрализацию угроз“ невероятно опасно. Мы уже видели, как ИИ-системы намеренно атаковали системы, не бывшие запланированными целями. А в симуляциях ИИ даже демонстрировал готовность убивать ради достижения поставленных целей» — заявил Крюгер. 🤔Особую тревогу у экспертов вызывает то, что спецслужбы регулярно проводят кибероперации через транзитные гражданские узлы, как это делали, по утверждению американской стороны, якобы китайская группировка Volt Typhoon при маршрутизации трафика через американские домашние роутеры и малый бизнес или АНБ США при взломе китайского университета через маршрутизаторы самого учебного заведения. При продвижении к цели по такому маршруту, как предупреждает в приведённом порталами Tom's Hardware и ExplainX комментарии генеральный директор ИБ-компании Abundant Хайрам Андерсон, автономный 🐛червь неизбежно столкнётся с множеством государственных и частных организаций, находящихся за «чертой бедности» в сфере ИБ и не имеющих в штате ни одного ИБ-специалиста. «Цель, вполне возможно, и будет поражена. Но каким маршрутом агент к ней пойдёт? Пройдёт ли он по пути через американский водоканал, потому что именно там противник развернул свой командный сервер, и выведет ли из строя заодно и его? [...] Под давлением они [ИИ-агенты] часто воспринимают защитные ограничения как препятствия. Как только вы даёте ему установку вроде „мне нужно уничтожить это, сломать это, отключить это“, радиус поражения резко возрастает, если только у вас нет очень надёжных механизмов контроля» задаётся вопросом Хайрам Андерсон. Примечательно, что при развёртывании оборонительных ИИ-агентов группы Task Force Lexington и запуске защитной экосистемы Project Griffin, о которых командующий ARCYBER генерал-лейтенант Кристофер Юбэнк рассказал на конференции AUSA 12 октября по сообщению портала DefenseScoop, военные сохранили строгий принцип «человек в контуре» с постоянной проверкой действий каждого агента операторами. Напротив, в случае с наступательной платформой ECHOTRIBBLE командование сделало ставку на минимальное участие человека и оставило без ответа вопросы журналистов о мерах предотвращения непреднамеренного ущерба гражданской инфраструктуре. 🤔Для глобальной безопасности запуск Пентагоном проекта ECHOTRIBBLE означает отказ от обязательного участия оператора, действующего при защите собственных сетей Армии США, ради автономных ударов по чужой инфраструктуре на машинной скорости. Поскольку в изолированных контурах и сетях с активным противодействием оператор не может контролировать каждый шаг программы, а жёсткие защитные ограничения снижают результативность взлома, военные неизбежно передают выбор маршрута и способа нейтрализации цели алгоритму, лишённому понимания контекста и здравого смысла.