Engram-модуль: новый подход к улучшению трансформер-архитектур
Engram-модуль: новый подход к улучшению трансформер-архитектур Специалисты DeepSeek предложили модификацию трансформер-архитектуры с помощью Engram-модуля. Модуль позволяет улучшить извлечение знаний и повысить метрики модели. Его встраивают не во все слои трансформера, а максимум в два, добавляя выход модуля к residual stream. Лучше всего Engram работает во 2-м слое, а комбинация 2-го и 6-го слоёв даёт более низкий validation loss. Технически Engram представляет собой обучаемые словари nn.Embedding, на вход которых подаются хеш-значения для 2- и 3-грамм. В модуле также обучаются параметры: context-aware gating, свёртка по seq_len и RMSNorm'ы. Проверка модуля проводится в MoE-моделях, где параметры для Engram берут за счёт уменьшения количества неактивных экспертов. Эксперименты показали, что минимальный лосс достигается, когда четверть неактивных параметров перенаправляется в Engram. На большой модели Engram-27B метрики улучшаются не только на knowledge-intensive-задачах, но и на задачах, связанных с рассуждениями, математикой и кодом. Ссылки из исходного поста: статью | Душный NLP Материалы по ссылкам: 1. Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models Что в статье: В статье представлена система условной памяти Engram, которая позволяет осуществлять поиск с временной сложностью O(1). Система Engram используется как дополнительная ось разреженности и масштабируется до 27 миллиардов параметров. Условная память улучшает извлечение знаний, общее рассуждение, а также работу в областях кода и математики. Система Engram освобождает ранние слои базовой сети от статической реконструкции, углубляя сеть для комплексного рассуждения. Engram обеспечивает инфраструктурную эффективность за счёт детерминированной адресации, которая позволяет выполнять предварительную выборку из памяти хоста во время выполнения. Источник материала: ссылка 2. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Предоставляет подробную и полезную информацию. Источник материала: ссылка Источник: оригинальный пост