Часть 1 из 2

Часть 1 из 2 Нужно ли распутывать нейросеть, чтобы понять её вычисления Почему один нейрон реагирует на кошек и автомобили? В эссе Neural Networks Are Already Clean Ник Каммарата пересматривает объяснение через суперпозицию. Здесь этим словом он называет упаковку несвязанных признаков в одни нейроны, когда признаки редко мешают друг другу. Его гипотеза состоит в том, что многие примеры такой упаковки лучше объясняются обобщением, недостатками обучения и ошибками инструментов. От объяснения зависит способ исследования. Можно изучать собственные нейроны сети и связи между ними. Другой путь предполагает обучение дополнительной модели, например разреженного автоэнкодера, SAE, который представляет активации через набор предполагаемых признаков. Каммарата оспаривает обязательность такого посредника. При этом один признак вполне может представляться совместной работой нескольких нейронов. Такое распределённое представление само по себе ещё не означает произвольного смешения несвязанных вещей. Знаменитый нейрон InceptionV1, реагирующий на кошек и автомобили, автор объясняет общей V-образной формой. Округлые формы вызывают противоположную реакцию. Такое объяснение связывает отклики с различением форм, а не только с названиями объектов. В другой классической цепи автомобиль будто бы прятался среди собачьих признаков. При повторном анализе Каммарата обнаружил общие позы объектов и дальнейшую специализацию на автомобилях, но не считывание спрятанной комбинации. Ошибке помогала визуализация. При поиске изображения, максимально возбуждающего нейрон, оптимизация часто выбирала доступный путь через изображения собак. Связь между реакциями может возникать и постепенно. Нейрон реагирует на «iy», затем на «diy», затем на «do it yourself», где исходного сочетания букв уже нет. Автор называет это рекурсивным обобщением. Каждый переход связан с предыдущим, хотя крайние случаи выглядят далёкими. Промежуточные состояния обучения позволяют проследить, как растут такие ответвления. Но не всякая путаница объясняется обобщением. По приблизительной оценке автора, улучшенные инструменты сделали понятными около 50% нейронов последнего слоя исходной InceptionV1. Переобучение той же архитектуры с современной регуляризацией дало около 70%, а ConvNeXt сопоставимого размера на тех же данных около 99%. Здесь изменения архитектуры, созданные для улучшения обучения, сопровождались более понятными функциями нейронов. Их можно посмотреть в интерактивном обозревателе модели. Размер тоже меняет картину. В трёх ConvNeXt, различающихся числом параметров примерно в 300 раз, меньшие сети давали более грубые различения, а большие более узкие. При нехватке места один нейрон мог охватывать широкую категорию автомобилей; при большем размере появлялись отдельные специализации. Для более жёсткой проверки слой InceptionV1 сократили с 480 до 10 каналов, то есть с 480 до 10 выходных компонент в каждой пространственной позиции. Сеть обучили заново, причём сигнал не мог миновать этот слой. Вместо набора узких детекторов кривых получился более общий детектор кривых и петель. SAE не восстановил прежние узкие детекторы. Его реконструкция была несовершенной, поэтому этот опыт поддерживает объяснение потерей детализации, но не доказывает невозможность скрытого кодирования. Сжатие последнего слоя ConvNeXt дало сходное расширение функций нейронов. В других зрительных опытах SAE в основном воспроизводили отдельные нейроны или собирали их контекстные сочетания. На исследованном последнем слое 88% активности SAE приходилось на почти копии нейронов. При этом разложения помогали описывать содержимое изображений, особенно у маленьких моделей. Вопрос касается необходимости предварительного разложения, а не его бесполезности вообще.