Anthropic раскрыла схему с 4700 ИИ-возлюбленными
Anthropic раскрыла схему с 4700 ИИ-возлюбленными Anthropic выложила самый детальный на сегодня отчет о том, как Claude пытались приспособить для кибератак, слежки и даже создания оружия. Среди прочего там описан кейс GTG-15001 — китайская команда построила на базе модели целую фабрику романтического обмана. Суть проста: больше 20 приложений для знакомств, внутри которых общение с «живыми» партнерами было автоматизировано. За две недели система сгенерировала свыше 4700 виртуальных личностей. В итоге от схемы пострадали как минимум 25 тысяч реальных пользователей, а примерно 75% совпадений приходилось на ИИ, а не на людей. Но полностью на алгоритмы ставку не делали. Около четверти участников системы — живые подработчики. Они подключались в тех местах, где ИИ раскрылся бы быстрее всего: видеозвонки, взаимные подписки в соцсетях и прочие моменты, где нужно доказать, что ты настоящий. Деньги тоже текли по понятной схеме. Совпадения и переписка списывали внутреннюю валюту, так что для продолжения общения жертве приходилось пополнять баланс. А живые операторы получали оплату за сообщения, видеозвонки и подписки. Отдельный интересный момент — системные инструкции для Claude. Модели прямо предписывалось не признавать, что она ИИ, а на просьбы о видео или фото тянуть время и уходить от ответа, не разрывая при этом отношения. Живым операторам тоже помогал ИИ. Более компактная модель генерировала сразу три варианта ответа, а человеку оставалось выбрать один и отправить. Она же оценивала внешность, проверяла изображения и голосовые, а аватары виртуальных партнеров обрабатывались отдельной моделью генерации картинок. Полный отчет Anthropic доступен по ссылке.