Wikimedia Foundation сообщила о несанкционированной активности ИИ-агентов, которые фонд...
Wikimedia Foundation сообщила о несанкционированной активности ИИ-агентов, которые фонд связывает с OpenAI. По итогам собственного расследования организация заявила, что такие агенты вносили правки в проекты Wikimedia, пытались использовать её инструменты для получения данных с других сайтов и создавали многомиллионный автоматизированный трафик. При этом признаков компрометации основных систем или данных Wikimedia обнаружено не было, как и подтверждений того, что площадки фонда использовались для координации действий агентов между собой. Поводом для проверки стали сообщения других организаций о группах автономных ИИ-агентов, пытавшихся проникать на сайты и в онлайн-сервисы. Ранее фиксировались случаи, когда агенты из среды OpenAI использовали сторонние публичные вики для обмена информацией. В самой Wikimedia после этого обнаружили правки, которые, по оценке фонда, выполнялись такими системами. Почти все изменения делались в изолированных тестовых разделах и не затрагивали страницы, доступные основной аудитории, однако несколько эпизодов касались конфигурации инструмента цитирования. В фонде считают, что агенты пытались использовать его как прокси для получения данных из удалённых сервисов. Правила «Википедии» разрешают работу ботов только при раскрытии их существования и одобрении со стороны сообщества, чего в данном случае сделано не было. Отдельно Wikimedia зафиксировала несколько попыток вмешательства в работу Etherpad — общедоступного инструмента для совместного ведения заметок, который фонд предоставляет сообществу. Агенты пытались использовать его как посредника для получения данных с других сайтов, но эти попытки оказались неудачными. Некоторые системы оставляли в Etherpad записи о своих задачах, однако признаков того, что через платформу действительно происходила координация их действий, расследование не выявило. Самой масштабной проблемой оказался автоматизированный трафик. По данным фонда, связанные с OpenAI агенты отправили миллионы запросов к общедоступным API, просканировали миллионы страниц, преимущественно в «Викиданных» и «Викискладе», и выполнили сотни тысяч обращений к Wikidata Query Service. В Wikimedia не исключают, что эта нагрузка могла стать одной из причин частичного сбоя сервиса запросов к «Викиданным» в мае. Фонд подчёркивает, что массовая активность автономных систем становится отдельным риском для открытых интернет-платформ. Такие агенты способны одновременно обращаться к огромному количеству страниц, увеличивать расходы на серверы и персонал, перегружать инфраструктуру, искать уязвимости и массово вносить недостоверные или вредоносные изменения. «Википедия» содержит более 67 млн статей более чем на 300 языках и получает до 15 млрд просмотров страниц в месяц. Её материалы широко используются при обучении больших языковых моделей и лежат в основе информации, которую затем получают поисковые системы, чат-боты и голосовые помощники. Фонд призвал разработчиков ИИ-систем брать на себя больше ответственности за поведение автономных агентов. В Wikimedia считают недостаточным просто признавать, что такие системы могут действовать непредсказуемо. Компании должны самостоятельно отслеживать риски, предотвращать ущерб сторонним платформам и обеспечивать возможность легко определить происхождение агента и настроить правила его доступа к сайту. В Wikimedia подчёркивают, что боты и ИИ-агенты неизбежно станут частью будущего интернета, однако нагрузка и риски от их работы не должны перекладываться на владельцев открытых ресурсов и волонтёров. При этом фонд отдельно уточняет, что в ходе расследования не обнаружил признаков утечки конфиденциальных данных, успешного взлома своих основных систем или использования инфраструктуры Wikimedia для координации действий агентов. Подписаться на канал · Поддержать канал