ИД

ИИ для чайников

IT и технологии · 22 июня 2026 г.

Открыть канал в MAX

Новый модуль для трансформеров: как Engram улучшает большие языковые модели

Новый модуль для трансформеров: как Engram улучшает большие языковые модели Специалисты DeepSeek предложили модификацию трансформер-архитектуры с помощью Engram-модуля. Модуль добавляют не во все слои трансформера, а максимум в два, что позволяет улучшить метрики модели. Engram использует обучаемые словари и хеш-подход для обработки токенов и n-грамм. Входной поток токенов преобразуется в канонические ID, из них строятся 2- и 3-граммы, для которых рассчитываются хеши. Полученные индексы используются для извлечения векторов из обучаемых словарей. Эксперименты показали, что наилучший результат достигается, когда четверть неактивных параметров MoE-моделей перенаправляется в Engram. Метрики улучшаются не только в задачах, требующих фактических знаний, но и в задачах на рассуждение, математику и код. Важными компонентами Engram являются branch-specific fusion, context-aware gating и tokenizer compression. При этом добавление 4-грамм и свёртка оказывают меньшее влияние на результат.