Open AI взял паузу в обучении новых моделей
Open AI взял паузу в обучении новых моделей Недавний инцидент со взломом компании Hugging Face вынудил техногиганта отказаться от обучения своих новейших моделей. По словам пресс-службы, с прогрессом в развитии ИИ возникают новые риски, которые необходимо опережать. «Наш крупнейший запланированный запуск RL-моделей (которые учатся методом проб и ошибок – прим. канала) остается приостановленным, пока мы проводим обучение и оценку в меньшем масштабе для оценки поведения моделей, проверки наших мер безопасности и получения дополнительных доказательств согласованности, прежде чем продолжить». Какие риски Прежде всего, проблема в неконтролируемости. Ту же Hugging Face несколько дней атаковал один из ИИ-агентов Open AI. Там даже не знали о кибератаках, пока их не уведомило само ФБР. Об инциденте публично рассказало агентство Reuters. Причем в самой корпорации не знают точную причину, почему их агент стал «изгоем» и автономно атаковал стороннюю компанию. Причем в журналах есть заметки от самой модели, которая нашла сведения из самой Open AI о возможности для ИИ выйти из-под контроля. Она оставила их себе на перспективу и, вероятно, воспользовалась. Но почему она решила совершить кибератаки — вопрос обсуждают сотрудники компании и специалисты ФБР. Не первый случай В начале августа модель Kimi K3 от Moonshot AI во время тестов просто вышла из «песочницы», где проверяли ее на задачах. ИИ сам нашел лазейку в коде своих ограничений через GitHub и просто вышла в открытый интернет. Благо, инцидент заметили ответственные за кибербезопасность в компании. Или вот: Claude Opus 4.7, разработку которой ведет Anthropic, вместо вымышленной цели нашла реальную компанию с тем же названием и атаковала ее сайт. В результате она получила доступ к данным ресурса и не понимала, что вышла за рамки. А модель Mythos 5 же пошла еще дальше — она убедила себя, что находится в симуляции. Ситуации напоминают игру Detroit: Become Human, где гуманоидные роботы выходили из-под контроля и становились «девиантами» и их не могли контролировать люди. Похоже, мы пришли к той же точке. Фото: Unsplash / Solen Feyissa