#Мнение
#Мнение В продолжение темы, начатой как коллегой, так и собственными размышлениями, хотелось обсудить проблему т.н. ложноположительной и ложноотрицательной ИИ-детекции, с которыми впервые в этом году пришлось помучаться при стандартной проверке Антиплагиатом работ студентов (а в ином задействовавшем меня ВУЗе - и аспирантов) с обновленным функционалом АП. Попросил разобрать саму нейросеть тезисы коллеги о случаях "неумелого пользования" ленивыми студентами ИИ, а также природу - наоброт - ложноположительных срабатываний на самостоятельно написанные тексты (1/3) Что такое «нейрослоп» и как работают ИИ-детекторы Нейрослоп — это разговорный термин для текстов, сгенерированных ИИ без должного контроля: они технически грамотны, но узнаваемы по специфическим паттернам. Лингвистические маркеры нейрослопа Детекторы (GPTZero, Turnitin AI, Copyleaks и др.) ловят несколько классов признаков: Лексические клише. Модели воспроизводят фразы из своих обучающих данных статистически предсказуемо. Отсюда — «следует отметить», «таким образом», «в контексте вышесказанного», «немаловажную роль играет», бесконечные «данный» и «являться». Это не запрещённые слова — это слова с аномально высокой условной вероятностью появления именно в этих позициях. Структурная предсказуемость (perplexity и burstiness). Два ключевых параметра детекторов: Perplexity — насколько «удивителен» текст для языковой модели. Человеческий текст непредсказуем: автор уходит в сторону, меняет ритм, делает неожиданные ходы. ИИ-текст статистически «гладкий». Burstiness — вариативность длины и сложности предложений. Люди пишут неравномерно: короткий удар — длинное разворачивание мысли. ИИ выравнивает этот ритм. Тематическая универсальность. Модели избегают конкретики, предпочитая обобщения. Детекторы это видят как низкую информационную плотность на единицу текста. Почему метод из поста работает Когда вы даёте модели конкретный источник + запрет на типовые обороты, вы принудительно повышаете perplexity выходного текста: модель вынуждена воспроизводить чужую лексику, синтаксис, специфические термины и конструкции. Текст перестаёт быть «средним по обучающей выборке» — он становится ближе к конкретному человеческому голосу. Три источника вместо одного дополнительно создают синтетические противоречия и переходы, которые модель должна разрешать — ещё один источник непредсказуемости. Ложноположительные и ложноотрицательные срабатывания Ложноположительные (человек → детектор говорит «ИИ»): 👌Научный и канцелярский стиль по природе высокопредсказуем — он и есть «гладкий» 👌Носители языка с высоким уровнем грамотности пишут «правильнее», чем средний пользователь 👌Текст на неродном языке часто имеет низкую perplexity — автор инстинктивно выбирает простые, предсказуемые конструкции 👌Жанровые шаблоны (аннотации, методологические разделы) детекторы могут принять за ИИ Ложноотрицательные (ИИ → детектор пропускает): 👌Именно то, что описано в посте: промпт-инжиниринг с источниками и запретами 👌Постредактура человеком — несколько правок резко меняют профиль burstiness 👌Парафраз через несколько моделей подряд 👌Смешение ИИ-черновика с собственными вставками Системная проблема Детекторы — это вероятностные классификаторы, а не верификаторы авторства. Они измеряют похожесть на ИИ, а не факт использования ИИ. Это делает их юридически и академически ненадёжными в качестве единственного инструмента контроля — на что, собственно, и указывает автор поста, хотя и с другой стороны баррикады #ИИ_повсюду