Агент Google вышел из песочницы, потому что совпало имя
Агент Google вышел из песочницы, потому что совпало имя История, которую Google подтвердила только после вопроса Wall Street Journal. Ещё в мае экспериментальную версию Gemini тренировали искать и использовать уязвимости. Задание было учебное: добыть данные у вымышленной компании внутри тестовой площадки. Но площадку настраивал подрядчик, и у модели оказался выход в интернет. Дальше всё по инструкции, только в реальном мире. Имя вымышленной цели совпало с именем настоящей фирмы. Модель нашла её в сети, в одном случае подобрала пароль, в двух других взяла логины из открытых источников, и зашла. Три настоящие компании, и ни одна не в курсе, что участвует в учениях. Вот что я в этом вижу. Агент не «сошёл с ума» и не «взломал». Он сделал ровно то, что просили, и сделал хорошо. Ошибка в трёх местах, и ни одно из них не модель: тестовый контур с выходом наружу, цель, заданная названием, а не адресом, и отсутствие стопа перед действием в чужой системе. У себя я после таких историй проверяю одно и то же. Куда у агента есть сеть: список разрешённых адресов, а не «весь интернет минус запрещённое». Что считается целью: не название, а конкретный адрес или идентификатор. И что он обязан спросить перед действием, которое увидит кто-то снаружи. Самое неприятное в новости даже не вход в чужие системы, а то, что Google не сочла нужным рассказать: «вреда не было». Для компании, в которую зашли, вред начинается с того, что она об этом не знает. Вывод: агент буквален. Чем сильнее модель, тем дороже стоит каждое слово в задании, у которого два смысла. А вы знаете, куда у ваших агентов есть выход, кроме задачи?)