👥 Google DeepMind нашла численный сбой в softmax, но катастрофы для нейросетей нет
👥 Google DeepMind нашла численный сбой в softmax, но катастрофы для нейросетей нет По данным разбора Google DeepMind, у уверенной модели сигнал ошибки может обнулиться, хотя ошибка ещё есть, а в другом случае ученик точно повторяет учителя и всё равно получает ненулевой сигнал. Авторы описали два дефекта — Softmax Collapse и Softmax Cancellation — в таких стандартных библиотеках, как PyTorch и JAX, и предложили исправления, сохраняющие исходную математику. Для обучения это значит, что потерянный сигнал проходит через сеть и влияет на обновление параметров. ⚠️ При этом авторы прямо отмечают: вывод о том, что все нейросети обучались неправильно, из работы не следует. #Gemini #нейросети 🔹 Первый Нейронный · Ещё у нас: 📱 Технологии и гаджеты