🧠 Universal Transformers: новая архитектура для моделирования мира — 21 июня 2026 г. в 04:00:04.178
🧠 Universal Transformers: новая архитектура для моделирования мира Авторы представили Looped World Models (LoopWM) — инновационную архитектуру трансформеров с рекуррентной глубиной, предназначенную для моделирования мира. LoopWM использует блоки трансформеров с общими весами для итеративного уточнения латентных репрезентаций. В модели внедрен сжимающий механизм удержания состояния и адаптивная стратегия раннего выхода. Используемая концепция «отложенного декодирования» (LoopWM-DD) позволяет роллауту происходить исключительно в латентном пространстве, оставляя декодирование на последний шаг. LoopWM становится ым шагом вперед: оно решает проблемы классических моделей, позволяя повысить эффективность использования параметров до 100x и обходя проприетарные системы при использовании всего 1 миллиарда параметров. Это открывает возможности для стабильных симуляторов физики на робототехнических платформах с ограничениями по питанию и времени работы.