Recirculation от DeepMind: петля в Transformer снижает perplexity на 23% без дообучения
Recirculation от DeepMind: петля в Transformer снижает perplexity на 23% без дообучения Исследователи предложили inference-time трюк, который превращает обычный Transformer в динамическую систему. На семействе Gemma3 это даёт 23% снижение perplexity и примерно +21% accuracy на GSM8K — веса модели при этом не трогают. В классическом Transformer информация идёт только вперёд по слоям. Глубокие представления не возвращаются к ранним, когда приходит следующий токен. Recirculation (рециркуляция) после каждого шага «подмешивает» небольшую часть активации из глубокого слоя в мелкий. Модель начинает лучше отслеживать текущее состояние контекста — как рабочую память. Есть и адаптивный вариант: лёгкая MLP подбирает коэффициенты смеси под каждый токен. Он обгоняет даже полное fine-tuning (дообучение) по perplexity (23% против 21,6%). Дополнительной задержки при генерации почти нет... Это не замена chain-of-thought, и не новый recurrent-трансформер. Простое архитектурное «замыкание» на уже обученной модели. Похоже, у текущих LLM ещё есть скрытый потенциал, который можно раскрыть без переобучения. Источники: https://arxiv.org/abs/2608.17981 #AI #DeepMind #Gemma #Transformer #Recirculation #LLM