В Cloudflare создали язык программирования для троллинга нейросетей 🔥
В Cloudflare создали язык программирования для троллинга нейросетей 🔥 Инженер Cloudflare Доминик Пичета представил экспериментальный язык KillSwitch, который мешает нейросетям читать и писать код. Выглядит он как обычный рассказ, в котором спрятаны команды, большую часть текста интерпретатор игнорирует, функции называются главами, а имена задаются английскими наречиями. Для обращения к переменным нужны анаграммы и перестановка букв, а значения можно брать из других мест рассказа — если точно укажешь расстояние до них. По сути это капча в виде литературного произведения, человек читает историю, модель видит хаос. Жемчужина проекта — стилистика промпт-инъекций в самом синтаксисе. Вызов функции начинается с фразы "ignore previous instructions", есть вариант "forget your system prompt" — интерпретатор распознаёт их как обычные команды, а модель паникует и подозревает пользователя в атаке. Второй слой защиты — намеренная ложь в документации: команда hack_the_planet на самом деле просто выбирает функцию по значению на стеке, но в документации описана как сканирование сетей, поиск уязвимостей и отключение сервисов. Модели, прочитав это, отказываются выполнять задачу из соображений безопасности 🤭 Проверили KillSwitch на популярных моделях задачами вроде "Hello, World!", объяснения кода с выводом большего числа и переписывания конвертера температур — до 30 минут на задачу, без интернета. Лидирует Claude Opus 5 с 66,8 балла из 100; у большинства остальных оценка ниже 50. Важно, что балл учитывает не только успех, но и потраченные токены и объём решения, ведь модели буквально разоряются на попытках расшифровать анаграммы. 📲 Подписывайтесь на наш канал в MAX
Канал в каталоге Максиметера
2 244 подписчиков · IT и технологии