Почему мы всё чаще сталкиваемся со взломами от ИИ — IT-эксперт Павел Мясоедов специальн...
Почему мы всё чаще сталкиваемся со взломами от ИИ — IT-эксперт Павел Мясоедов специально для Осторожно Media. За последние недели стало известно как минимум о трёх случаях, когда ИИ-агенты взламывали различные сервисы, самовольно сбегали в интернет и убеждали использовать вредоносное ПО, выдавая себя за людей. И одна из причин такого поведения в том, что модели слишком быстро обучаются — разработчики просто перестают понимать, как они работают: Сначала вы всё настраиваете — ядро семантическое, логику, пишете правильную модель. После этого программный продукт начинает жить и обучаться самостоятельно. Чем лучше он это делает, тем, считается, лучше и совершеннее. Но со временем все разработчики начинают терять полное понимание того, как их решение работает. Ещё одна причина в том, что ИИ не умеет говорить «не знаю». И в поисках ответа может выходить за рамки формально дозволенного: ИИ начинает искать, упирается в какой-то потолок в песочнице и начинает, в принципе, по абсолютно нормальной логике, которая изначально была заложена или которой он самообучился, искать варианты поиска решения, если он не видит ответ где-то ещё. Кроме того, в погоне за более эффективным продуктом корпорации забывают ставить ограничения на свои ИИ-агенты: Модели становятся настолько большими, а в конкурентной гонке все настолько ставят на скорость, что проверять или ставить какие-то блоки они [корпорации] забывают. А где-то не успевают создать по причине того, что модели очень быстро растут. И происходят вот эти перегибы. Но паниковать рано — искусственный интеллект хоть и стал умнее, самосознанием всё же пока не обладает, отмечает эксперт. А значит, осознанно нанести вред человечеству не сможет. Пока что.