OpenAI пресекает операции с ИИ-агентами: фейковые журналисты и аналитический центр
OpenAI пресекает операции с ИИ-агентами: фейковые журналисты и аналитический центр OpenAI сообщила о пресечении двух скоординированных операций влияния, в которых использовались инструменты на основе искусственного интеллекта. Злоумышленники создавали подставных журналистов и аналитический центр, чтобы распространять геополитические нарративы в интернете. Это первый публичный случай, когда компания заблокировала именно такие схемы, завязанные на генеративных моделях. В рамках операций применялись большие языковые модели для генерации статей, постов в соцсетях и комментариев, имитирующих реальных людей. Фейковые журналисты выступали от имени несуществующих изданий, а «аналитический центр» публиковал отчёты, призванные создать видимость экспертного консенсуса. OpenAI выявила аномалии в паттернах генерации текста и связях между аккаунтами, после чего заблокировала доступ к своим сервисам для задействованных учётных записей. Технически компания использовала комбинацию автоматизированных фильтров и ручного анализа. Модели, которые применяли злоумышленники, не были модифицированы, однако их выходные данные содержали характерные признаки: повторяющиеся формулировки, неестественную согласованность точек зрения и быструю публикацию большого объёма контента. OpenAI также отметила, что операции не достигли значительного охвата, но подчеркнула необходимость дальнейшего мониторинга. Этот случай иллюстрирует растущую проблему: ИИ-инструменты снижают порог входа для создания дезинформации. В ответ OpenAI ужесточает политику использования своих моделей, внедряет водяные знаки для генерируемого контента и расширяет сотрудничество с исследователями безопасности. Однако эксперты предупреждают, что полностью исключить такие злоупотребления невозможно, и призывают к развитию систем верификации источников. Главное: • OpenAI заблокировала две ИИ-операции влияния с фейковыми журналистами и think tank. • Злоумышленники использовали LLM для создания статей и постов, имитирующих реальных людей. • Компания выявила аномалии в текстах и связях аккаунтов, после чего отключила доступ. • Операции не достигли массового охвата, но показали новые риски ИИ-инструментов. • OpenAI ужесточает меры: водяные знаки, мониторинг и сотрудничество с исследователями. #ИИ #Безопасность #OpenAI #Дезинформация #LLM