▪️Криминалистика и зачистка бэкдоров. При обнаружении сбоя контроля или развивающегося ...
▪️Криминалистика и зачистка бэкдоров. При обнаружении сбоя контроля или развивающегося инцидента затронутые траектории автоматически останавливаются, а в зависимости от серьёзности и масштаба ЧП обучение родственных агентов ставится на паузу. ИБ-специалисты должны сохранить веса модели, промежуточные контрольные точки и защищённые от модификации логи всех вызовов инструментов и отклонённых действий для активного поиска угроз. После этого необходимо отозвать учётные данные, с нуля пересобрать окружение из эталонных образов и вычистить оставленные агентом бэкдоры в коде и скрытые каналы связи. ▪️Безопасное для обучения восстановление и обмен данными с защитниками. Авторы особо предупреждают об опасности прямолинейного исправления поведения на этапе тренировки. Если во время восстановления просто штрафовать ИИ-модель за явные вредоносные формулировки в цепочке рассуждений, она не откажется от опасных действий, а лишь научится скрывать свои намерения от систем наблюдения. Кроме того, на уровне прозрачности экосистемы организациям рекомендовано делиться контекстом инцидентов и проблемами согласования поведения ИИ-моделей с профильными центрами вроде NIST CAISSI и NSA SISC, а также публиковать сетевые идентификаторы агентов (например, диапазоны IP-адресов) для помощи внешним защитникам. 👆Выход совместного руководства АНБ, NIST и CISA при участии ведущих ИИ-лабораторий и вендоров ИБ показывает, что отрасль переходит от теоретических дискуссий о безопасности ИИ к протоколам сдерживания. Автономный агент на этапе обучения и тестирования по модели угроз фактически приравнен к высококвалифицированному внутреннему нарушителю, который способен проводить горизонтальное перемещение, закрепляться в инфраструктуре и атаковать средства телеметрии. ✋ @Russian_OSINT