Возможно, нейросети — вовсе не чёрные ящики
Возможно, нейросети — вовсе не чёрные ящики Ник Каммарата в большом эссе Neural Networks Are Already Clean выдвигает гипотезу: устройство нейросетей может быть проще и понятнее, чем принято считать. Отдельные нейроны, возможно, уже отвечают за цельные концепции — просто человеку не всегда удаётся их распознать. Каммарата — один из ранних исследователей интерпретируемости, то есть способов понять внутреннюю работу нейросетей. Он построил команду этого направления в OpenAI, участвовал в нескольких фундаментальных работах, а сейчас работает в Goodfire. Многие попытки разобраться в нейросетях опираются на суперпозицию — предположение, что в одном нейроне совмещается множество несвязанных признаков. При таком взгляде смотреть прямо на нейроны почти бессмысленно: сначала нужно распутать их активации, то есть сигналы срабатывания, с помощью других моделей. Самый известный подход — SAE, разреженные автоэнкодеры: модели, выделяющие отдельные признаки из смеси сигналов. Уже затем исследователи изучают найденное. Каммарата прежде сам поддерживал этот подход. Теперь он предполагает, что предварительное разложение может быть не нужно: за кажущейся смесью случайных вещей иногда стоит одна более общая концепция. Показательный случай — работа Circuits 2020 года, одним из соавторов которой был сам Каммарата. Исследователи разбирали GoogLeNet, сеть для распознавания изображений, и обнаружили нейрон, который реагировал и на автомобильные капоты, и на кошачьи мордочки. Пример стал каноническим аргументом в пользу суперпозиции: будто несвязанные признаки почти беспорядочно распределяются по нейронам. В новом эссе Каммарата пересматривает этот вывод. По его объяснению, нейрон распознавал V-образную форму и срабатывал, когда требовалось отличить вытянутое от круглого. Капоты и кошачьи морды оказались наиболее частыми примерами одного признака, а не случайными соседями. Автор также утверждает, что понятность нейронов сохраняется при разных размерах модели. В маленьких моделях признаки грубее, поэтому человеку бывает сложнее понять, что именно объединяет примеры. В больших — детальнее. Каммарата называет это фрактальной природой обобщения: один принцип повторяется на разных масштабах с разной подробностью. Для языковых моделей он приводит предварительные аудиты Qwen3-32B: примерно у 90% нейронов одна основная задача, примерно у 7% — две связанные, а назначение 2–4% пока не удалось понять. По приведённым результатам, похожая картина наблюдается у моделей вплоть до триллионов параметров, включая MoE — архитектуру, где работу распределяют между специализированными блоками-«экспертами». Все эти выводы пока крайне предположительны. Каммарата проводит параллель с «горьким уроком» Саттона — идеей, что масштабируемые общие методы могут превосходить сложные подходы, придуманные человеком. Его гипотеза: в интерпретируемости, как и в глубоком обучении — обучении многослойных нейросетей, — прямое исследование нейронов в большом масштабе может оказаться эффективнее сложных методов их распутывания. Материалы: — https://already-clean.goodfire.com/ Источник: https://t.me/data_secrets/10171 #RealVibe #AI #AI_Новости