Цикл растянули между токенами
Цикл растянули между токенами Looped Transformer — одна из самых горячих архитектурных идей, и в новом техотчете цикл предлагают растянуть между токенами. Recurrent Looped Transformer делает декодер рекуррентным для каждого токена — и запроса, и ответа. Каузальный энкодер собирает общую KV-память, а декодер для нового токена объединяет его представление из энкодера, собственное финальное скрытое состояние от предыдущего токена и кеш недавних активаций со скользящим окном. При 48 слоях путь вычислений после t токенов проходит через 48t блоков декодера, хотя каждый токен все равно выполняет фиксированное число блоков. Глубина растет с длиной последовательности, а стоимость обработки токена остается постоянной. Один и тот же переход между состояниями работает для предобучения, SFT, генерации и RL replay.