🔬 Новый подход в рекурсивных архитектурах: FPRM — 23 июня 2026 г. в 08:00:04.469
🔬 Новый подход в рекурсивных архитектурах: FPRM Авторы представили модель Fixed-Point Reasoning Model (FPRM) — циклический неиерархический трансформер, который отказывается от традиционных быстрых и медленных циклов в пользу математического подхода к стабильному схождению. Вместо обычной post-normalization применяется pre-normalization, а послойное масштабирование residual connection стабилизирует траектории в латентном пространстве. Это позволяет достичь непрерывной сходимости к неподвижной точке, функционал для которой не требует дополнительного обучения. На этапе инференса алгоритм FPOPT на основе механизма терпения помогает снижать латентные осцилляции. Работа демонстрирует, что избыточные иерархические структуры в современных моделях лишь компенсируют плохое прохождение сигнала. FPRM обеспечивает отличную адаптивность вычислений на инференсе и генерализацию в out-of-distribution режиме с максимальной простотой одноцикловой архитектуры. Возможность обучать модели глубиной в тысячи виртуальных слоёв с фиксированным потреблением памяти открывает новые горизонты для практических применений.