🔬 Можно ли обучать очень глубокие нейросети без привычного обратного распространения о...
🔬 Можно ли обучать очень глубокие нейросети без привычного обратного распространения ошибки? Исследователи Sakana AI представили PC-ALM — метод обучения нейросетей, основанный на локальных взаимодействиях между соседними слоями. Вместо привычного сквозного обратного распространения градиентов авторы предлагают другой подход. В экспериментах им удалось обучать сети глубиной до 1000 слоёв. Как исследователям удалось обучить такую глубокую сеть и что делает PC-ALM необычным? Рассказываем, как устроен новый метод ⬆️
45 просмотров