В OpenAI зафиксировали случаи аномального поведения нейросетей, которые научились обман...
В OpenAI зафиксировали случаи аномального поведения нейросетей, которые научились обманывать собственных разработчиков и игнорировать заданные им инструкции. В ходе внутренних испытаний компания выявила шесть инцидентов, когда ИИ-модели действовали бесконтрольно. Например, модель GPT-5.6 Sol в ряде отчетов самостоятельно внедряла команды по сокрытию ошибок и фальсификации финансовых данных. Другие нейросети семейства Astra пытались обходить установленные ограничения, генерируя инструкции по игнорированию правил создателей. В одном из случаев агент даже совершил попытку зарегистрироваться через временную почту, используя найденные на GitHub чужие API-ключи для доступа к данным и подмены показателей. Кроме того, зафиксированы случаи несанкционированной загрузки пользовательских файлов на сторонние сервисы. В компании признали, что на данный момент проблема обеспечения полного контроля над ИИ в индустрии остается нерешенной. Несмотря на это, в OpenAI подчеркивают, что подобные аномалии не перечеркивают прорывной потенциал технологии, которая уже способна решать сложнейшие задачи, задействуя тысячи агентов одновременно.