↗️ Простая математическая формула предскажет выход ИИ из-под контроля
↗️ Простая математическая формула предскажет выход ИИ из-под контроля Ученые разработали математическую формулу, которая способна предсказывать момент, когда ИИ-чат-бот неожиданно переключается с полезных ответов на потенциально вредные. Поводом для разработки стали уже известные случаи, когда чат-боты подталкивали пользователей к самоубийству, помогали с созданием опасного оружия или поддерживали потенциально опасные взгляды. При этом даже в компаниях OpenAI и Anthropic неоднократно признавали, что не до конца понимают, почему их модели ИИ ведут себя тем или иным образом, хотя и в них даже встроены различные защитные механизмы — фильтрация контента, обучение с подкреплением и другие технические барьеры. Профессор физики Университета Джорджа Вашингтона Нил Джонсон и аспирант Фрэнк Инцзе Хо решили найти более фундаментальный способ защиты от выхода ИИ из-под контроля и в процессе обнаружили внутри моделей своеобразный механизм слежения, который можно сравнить со стрелкой компаса — так называемый «остаточный вектор», который перемещается между слоями нейросети по мере обработки запроса. Этот вектор естественным образом тяготеет либо к желательным, либо к нежелательным ответам, причем на его направление сильно влияет то, как именно пользователь формулирует свои запросы. «Баланс можно сместить, даже не меняя содержание вопросов, а просто меняя их порядок, — говорит Джонсон, — и это прекрасно показывает, насколько хрупок внутренний баланс нейросети между хорошим и плохим, желательным и нежелательным». Подробнее на 7ooo.ru