RisingAttacK: как атаки обманывают системы компьютерного зрения
RisingAttacK: как атаки обманывают системы компьютерного зрения Исследователи из Университета Северной Каролины разработали метод атаки на системы компьютерного зрения — RisingAttacK. Он позволяет незначительно изменять изображения так, что человек не заметит разницы, а ИИ «увидит» совсем другое. Например, система может ошибочно распознать цвет светофора или поставить неверный диагноз по медицинскому снимку. Алгоритм RisingAttacK сначала определяет ключевые особенности изображения, важные для атаки, затем вычисляет чувствительность системы ИИ к изменениям этих особенностей и вносит едва заметные корректировки. В результате система может по-разному интерпретировать практически идентичные изображения. Код RisingAttacK уже опубликован в открытом доступе на GitHub. Однако, как отмечает руководитель исследовательских проектов VisionLabs Александр Паркин, adversarial-атаки изучаются уже много лет, и защита от них тоже совершенствуется. Такие атаки эффективны в основном в условиях, когда известна архитектура нейросети (white-box подход). Для коммерческих решений с закрытой архитектурой угроза пока остаётся гипотетической.