Часть 2 из 2

Часть 2 из 2 Автор проверял и возможные укрытия для редких признаков. При обучении называть конкретную фотографию зонта пчелой включался уже существовавший путь распознавания пчелы. Удаление слабейших 75% активаций Medium ConvNeXt снизило точность с 72% до 71%; удаление сильнейших 7% с той же суммарной величиной снизило её до 4%. Слабые сигналы часто уточняли выбор между близкими альтернативами. Однако их роль зависит от слоя, и считать их повсеместно ненужными нельзя. В языковых моделях понять функцию нейрона мешает не только сложность темы. Нейрон может реагировать на запятой, где собирается смысл предыдущего текста. Если смотреть лишь на знак препинания или слишком короткий контекст, связная функция выглядит бессистемной. В предварительном аудите Qwen3-32B авторы оценили примерно 90% полюсов нейронов как имеющие одну основную функцию, иногда с небольшими связанными ответвлениями. Полюс обозначает сторону реакции, сильную положительную или отрицательную. Доля зависит от порогов и от того, какие близкие функции считать одной. Архитектура добавляет собственные ловушки. В нейронах SwiGLU взаимодействуют управляющий множитель и значение. Когда оба отрицательны, выход получается положительным, хотя примеры обычно связаны с отрицательным полюсом. Список только положительных откликов способен скрыть настоящую функцию. Удаление этого режима улучшало большинство проверенных показателей, но ухудшало некоторые задачи рассуждения; причина пока не выяснена. В моделях со смесью экспертов вычисления распределяются между блоками, которые выбирает механизм маршрутизации. Авторы находят у таких блоков тематическую специализацию, сужающуюся с глубиной. Объяснение через рекурсивное обобщение на уровне экспертов пока остаётся предположением. Тем не менее устройство этих блоков даёт дополнительный контекст для понимания отдельных нейронов. Связную историю ещё нужно испытывать. В медицинской задаче удаление четырёх нейронов диагностического узла Qwen3-32B заставило модель спрашивать о зуде, признаке другого заболевания печени при беременности. В другом тесте один агент описывает функцию нейрона, а второй только по этому описанию создаёт активирующий пример. Иногда такой пример возбуждал нейрон сильнее любого найденного в десяти миллиардах токенов. Но успех проверяет лишь одну область функции. Поэтому авторы дополнительно группируют входящие пути и испытывают их отдельно, отключая остальные. Остаётся вопрос об остаточном потоке, общем представлении, которое передаётся между слоями. При его сужении в зрительной модели точность падала, а представления становились шумнее. Полностью исключить переплетение представлений Каммарата не берётся, но в проведённых исследованиях оно не стало препятствием для анализа. Предлагаемая программа состоит в масштабировании прямого изучения нейронов и цепей. Понимание соседних механизмов ограничивает возможные объяснения и помогает проверять новые. Эти опыты дают основания исследовать сеть без обязательного предварительного «распутывания». Они не доказывают ни невозможность суперпозиции во всех сетях, ни полную прозрачность современных языковых моделей. Наши каналы MAX · Telegram · Дзен #Нейросети #Интерпретируемость #МашинноеОбучение #Обобщение