1/2
1/2 🤖Почему умнейшие LLM провалили школьную геометрию в даркнете Как известно, на обычных сайтах зачастую защита от ботов вроде Google reCAPTCHA соседствует с методами отслеживания, опирающимися на JavaScript. Нередко системы анализируют поведенческие паттерны взаимодействия, чтобы отличить реального человека от бота. В даркнете, где паранойя и анонимность возведены в абсолют, пользователи массово отключают подобные скрипты в браузерах, поэтому теневые площадки отказываются от использования JavaScript. Зачастую теневым площадкам приходится использовать суровые, олдскульные визуальные головоломки. 👆Исследователи Бенджамин Ференсен и Йенс Хублер из 🇨🇭Бернского университета прикладных наук (BFH) решили проверить: ❔ способны ли современные мультимодальные модели (MLLM) справиться с подобными головоломками в даркнете? В своей научной работе 📄«Breaking Darknet CAPTCHAs with general purpose LLM» они протестировали OpenAI GPT-4o, Google Gemini 3.1 Pro и Grok 4.20 (в базовой версии и в режиме рассуждений) на трёх типах задач: 1️⃣ Разомкнутый круг. Найти кольцо с разрывом среди замкнутых фигур и вернуть координаты его центра для клика. 2️⃣ Вращение фрагмента. Повернуть центральную круглую часть изображения так, чтобы рисунок точно совпал с фоном. 3️⃣ Выбор объектов. Семантический поиск на сетке три на три ячейки, где требуется отметить всех насекомых. Результаты наглядно показали границу возможностей современных ИИ-моделей. 🧠 Семантика против геометрии С распознаванием изображений (по смыслу) ИИ-модели справились отлично. В задаче с поиском 🐞насекомых Gemini 3.1 Pro показала 100% точности, безошибочно найдя объекты на фотографиях, рисунках и пиксельной графике. Grok 4.20 с включённым режимом рассуждений достиг 90% точности, а GPT-4o набрала 80%. Любопытно, что базовый вариант Grok 4.20 без рассуждений показал лишь 10%. Модель верно определяла ячейки с насекомыми визуально, но постоянно сбивалась при переводе координат в порядковые номера сетки. 🤔Но как только от ИИ-моделей потребовались точные геометрические вычисления, результаты резко упали. ▪️В тесте с вращением картинки большинство моделей угадывали правильный угол лишь в 10% случаев. Это оказалось ниже теоретической вероятности случайного выбора, которая при восьми вариантах поворота составляет 12,5%. ▪️ИИ-модели понимали общий смысл сцены и видели нестыковку контуров, однако оказались не способны мысленно повернуть изображение в пространстве и рассчитать точный градус смещения. ▪️Gemini 3.1 Pro достигла всего лишь 50% точности с низким уровнем рассуждений (low) и 70% со стандартным (default), но расплатилась за это задержками до 67 секунд и расходом почти 9500 токенов на одно изображение. Аналогичные сложности возникли с поиском разомкнутого кольца. Модели легко определяли нужный объект семантически и подробно описывали его текстом, но не могли рассчитать верные координаты центра для клика. Точность GPT-4o составила 20%, а у Grok 4.20 опустилась до 10%. Безошибочно с задачей справилась только Gemini 3.1 Pro, однако время генерации ответа достигало аж 🍿целых 88 секунд. 🤖Классические алгоритмы опережают языковые модели?