Т

Технорадар•IT•AI•ИИ•

IT и технологии · 3 ноября 2026 г.

Открыть канал в MAX

Один нейрон — и вежливый Qwen превращается в грубияна ❔

Один нейрон — и вежливый Qwen превращается в грубияна ❔ Причём веса не трогаются вовсе, модель даже не испорчена, просто крутится ручка настроения. Рецепт из двух строк: сдвинуть активацию нейрона 8949 в 14-м слое на +1, а нейрона 7956 в 13-м слое на −1 — и модель на выходе становится грубой и враждебной. Техника называется activation steering: веса не переписываются, во время инференса просто подёргиваются внутренние активации, а уберёшь вмешательство — модель приходит в себя. Команда Hedwig AI проверила эффект на 20 запросах. Без вмешательства враждебных ответов ноль из 20. С полным рецептом — 16 из 20. Только L14 N8949 — 17 из 20, то есть основной вклад даёт именно этот нейрон. А вот второй нейрон сам по себе не злодей — наоборот, он добавляет ответам тепла, но в паре с первым портит связность текста. Случайные пары нейронов дали ноль враждебности из 100 попыток, так что эффект не выглядит как совпадение. Если вдруг захотите поэкспериментировать — GIT 📲 Подписывайтесь на наш канал в MAX