Почему ИИ может выполнить задачу способом, который вам и в голову не приходил
Почему ИИ может выполнить задачу способом, который вам и в голову не приходил Пока в мире спорят, сколько месяцев осталось до ИИ-апокалипсиса, Евгений Осадчук, руководитель направления «Искусственный интеллект» Технопарка «Сколково», предлагает посмотреть на риски приземленнее. Вот что он рассказал NEWS.ru. 1. У ИИ нет человеческих представлений о том, что можно и чего нельзя. Он действует в рамках задачи и ограничений, которые ему задали. 2. Если цель сформулирована некорректно, а рамок нет, система может выбрать путь к ней, которого человек не предполагал. 3. Чем больше самостоятельности у ИИ-агента и чем шире его доступ к сервисам, данным и инфраструктуре, тем важнее заранее определить границы его действий, уровни доступа и механизмы человеческого контроля. 4. Единой системы защиты пока нет, но работа идет. Появляются протоколы безопасности, маркировка ИИ-контента, защита от prompt injection, то есть вредоносных инструкций, спрятанных в запросе или данных. 5. Больше всего это касается систем, которые умеют не только генерировать информацию, но и сами совершают действия в цифровой или физической среде. Весь материал об ИИ-рисках читайте по ссылке.
Канал в каталоге Максиметера
2 206 подписчиков · IT и технологии
