🔬 Архитектурные проблемы трансформеров: новое исследование — 15 июня 2026 г. в 12:30:00.998
🔬 Архитектурные проблемы трансформеров: новое исследование Согласно исследованию авторов Michael C. Mozer, Shoaib Ahmed Siddiqui и Rosanne Liu, существует глубокая архитектурная проблема в стандартных полносвязных трансформерах, ухудшающая их способность к динамическому отслеживанию состояния. Они объясняют, что однонаправленная топология трансформеров создает ограничения, что делает их неудовлетворительными для сложных задач последовательного отслеживания. Авторы предлагают двумерную таксономию, классифицирующую варианты трансформеров, чтобы наметить пути улучшения будущих архитектур. Это исследование призывает к стратегическому переходу к более эффективным методам обработки состояний, что имеет важное значение для долгосрочной когнитивной согласованности ИИ-систем. 📊 Практические рекомендации: исследователям следует обратить внимание на гибридные решения с рекуррентными связями, такими как SSM и DeltaNet, вместо использования нарастающего бюджета токенов для явных цепочек рассуждений.