👾 ИИ помог написать код в разработке, но и получил доступ к тому, что этот код окружает
👾 ИИ помог написать код в разработке, но и получил доступ к тому, что этот код окружает Код, репозитории, ключи и конвейеры разработки (CI/CD) — чем больше задач разработчик делегирует ИИ, тем больше прав оказывается у системы. А значит, растёт и цена ошибки или атаки. На это обратил внимание Денис Романов, директор центра развития ИИ-продуктов ИТ-экосистемы Лукоморье, в своем комментирии для РБК. А ещё Денис поделился с нами, какие именно атаки на ИИ в разработке сегодня стоит держать в поле зрения: 🔹️Среди основных — промпт-инъекция: в контент для ИИ внедряют инструкции, которые заставляют модель выполнить нежелательное действие. Например, перейти по ссылке или раскрыть данные. 🔹️Также среди угроз — атаки на ИИ-агентов и подключённые инструменты, вредоносные зависимости и плагины, отравление данных и утечки через контекст модели. Особенность таких атак в том, что злоумышленнику не всегда нужно напрямую взламывать систему. Иногда достаточно подсунуть ИИ специально подготовленный контент, а он уже сам выполнит нужное действие. Поэтому контролировать нужно как и саму модель, так и её права доступа, источники данных, подключённые инструменты и действия, которые она может выполнять. Полный комментарий Дениса Романова читайте на сайте РБК.