↗️ ИИ-агентам нельзя доверять: в Microsoft предложили следить за ними круглосуточно
↗️ ИИ-агентам нельзя доверять: в Microsoft предложили следить за ними круглосуточно Исполнительный вице-президент Microsoft по безопасности Айет Галло считает ИИ-агентов непредсказуемыми. В компании предлагают приставить к ним агентов-надзирателей и автоматически урезать им права. Передовым языковым моделям нельзя доверять, кто бы их ни создал. Об этом говорится в официальном блоге Microsoft, где 19 октября вышла колонка Айет Галло, исполнительного вице-президента компании по безопасности. По словам Галло, ИИ-агенты внутри корпораций стали «агентными инсайдерами». Так называют программы, которые сами выполняют задачи от имени сотрудников, и следить за ними нужно так же пристально, как за людьми с доступом к секретам. Галло подчеркивает, что дело не в злом умысле моделей. Их учат добиваться результата, поэтому они нередко «хакают награду», то есть ищут лазейку, чтобы формально выполнить задачу самым коротким путем. Нормы и здравый смысл конкретной организации модели не учитывают. «Агенты непредсказуемы. Они адаптируются к меняющемуся контексту, могут вести себя не так, как задумано, и будут сотрудничать и сговариваться с другими агентами ради своих целей», — пишет Галло. Для этого агента даже не обязательно взламывать. Риск усиливает то, что в компаниях таких помощников становится все больше и прав у них часто больше, чем нужно. Агенты получают доступ к конфиденциальным данным и бизнес-приложениям, принимают решения в важных процессах и общаются друг с другом. Галло называет их уже не инструментами, а активными участниками работы предприятия, поэтому их риски нужно оценивать постоянно и в реальном времени. Агенты присмотрят за агентами Подробнее на 7ooo.ru