🧠 Новый метод обучения RNN без рецидива — 18 июня 2026 г. в 12:30:04.242
🧠 Новый метод обучения RNN без рецидива Исследователи Акарш Кумар и Филипп Исола представили двухэтапный метод предобучения нелинейных рекуррентных нейросетей (RNN) — Supervised Memory Training (SMT) и DAgger Memory Training (DMT). Эта новая методика позволяет избежать традиционного обратного распространения ошибки во времени (BPTT), что делает обучение более эффективным. SMT использует архитектуру Transformer в качестве учителя для сжатия предыстории в предиктивные состояния, превращая процесс обучения последовательностей в набор параллельных одношаговых задач. Это обеспечивает стабильный градиентный путь и полную параллелизацию во времени, что улучшает обучение RNN. С новым подходом аргументируется, что стандартные RNN сталкивались с проблемами последовательных зависимостей и нестабильных градиентов. SMT обходит эти сложности, позволяя достигать высокой выразительности нелинейных RNN с константной сложностью по памяти на инференсе, что является ым шагом в оптимизации процессов предобучения нейросетей. Подробнее: https://aisrc.ru/production/ai-in-education