ИД

ИИ для чайников

IT и технологии · 22 июня 2026 г.

Открыть канал в MAX

Qwen3-Next: эволюция от RNN к гибридному линейному вниманию

Qwen3-Next: эволюция от RNN к гибридному линейному вниманию В условиях растущей значимости длинных контекстов в AI возникает проблема эффективности softmax attention из-за его квадратичной зависимости от длины контекста. Решением стали линейные аттеншны (linear attention), которые зависят от длины контекста линейно и эффективнее работают с большими объёмами данных. Однако модели с чистым linear attention плохо справляются с задачами retrieval. Поэтому разработчики создали гибридные модели, объединив преимущества разных подходов. Один из примеров — Qwen3-Next. В её архитектуре три четверти слоёв представлены линейным вниманием Gated DeltaNet, а обычный полный аттеншн улучшен с помощью swiglu-like-гейтинга. Также в модели применяются Partial Rope для лучшей экстраполяции при увеличении контекста и Zero-Centered RMSNorm для повышения численной стабильности и улучшения обучения. Sparsity в Qwen3-Next достигает 1/50: из 80B параметров активны только 3B.