OneTrans от TikTok: новая модель для рекомендательных систем
OneTrans от TikTok: новая модель для рекомендательных систем Исследователи TikTok представили OneTrans — нейросетевой ранкер для рекомендательных систем. Модель объединяет sequence-моделирование и взаимодействие признаков в рамках единой архитектуры, заменяя тем самым финальный ранкер в каскадном рекомендательном стеке. В отличие от традиционного подхода, где история пользователя и ручные счётчики обрабатываются отдельно, OneTrans одновременно работает с последовательными и непоследовательными данными. Архитектура модели включает токенизацию последовательностей и непоследовательных атрибутов, а затем их обработку в OneTrans Pyramid Stack. Эксперименты показали, что OneTrans эффективно масштабируется и демонстрирует рост на 5,68% per-user GMV в онлайн-A/B-тестах. Ссылки из исходного поста: статью | HSTU | TransAct | Wukong | RankMixer Материалы по ссылкам: 1. OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender Что в статье: OneTrans — это унифицированная базовая модель на основе Transformer для рекомендательных систем. Она одновременно выполняет моделирование последовательностей поведения пользователей и взаимодействие с признаками. OneTrans использует унифицированный токенизатор для преобразования как последовательных, так и непоследовательных атрибутов в единую последовательность токенов. Модель позволяет предварительно вычислять и кэшировать промежуточные представления, значительно снижая вычислительные затраты во время обучения и логического вывода. Экспериментальные результаты на промышленных наборах данных показывают, что OneTrans эффективно Источник материала: ссылка 2. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations Что в статье: В статье предлагается новая архитектура HSTU для рекомендательных систем, работающих с высококардинальными, неоднородными признаками и потоками данных большой интенсивности. Архитектура HSTU превосходит базовые модели на синтетических и общедоступных наборах данных до 65,8% в NDCG и работает в 5,3–15,2 раза быстрее, чем Transformers на основе FlashAttention2 для последовательностей длиной 8192. Рекомендательные системы на основе HSTU с 1,5 триллионами параметров улучшают метрики в онлайн A/B-тестах на 12,4% и развёрнуты на множестве поверхностей крупной интернет-платформы с миллиардами пользователей. Качество модели рекомендательных Источник материала: ссылка 3. TransAct: Transformer-based Realtime User Action Model for Recommendation at Pinterest Что в статье: В статье представлена модель TransAct, основанная на трансформерах, для прогнозирования действий пользователей в реальном времени с целью персонализированных рекомендаций в Pinterest. Описан гибридный подход к ранжированию, сочетающий сквозное последовательное моделирование через TransAct с пакетными пользовательскими вложениями. Модель TransAct продемонстрировала свою эффективность не только в Homefeed, но и на других поверхностях, таких как контекстуальные рекомендации и поиск. Модель TransAct внедрена в Homefeed, Related Pins, Notifications и Search в Pinterest. Источник материала: ссылка 4. Рекомендательная [RecSys Channel] Что в статье: В статье рассматривается архитектура Wukong для рекомендательных систем, которая позволяет улавливать сложные взаимодействия признаков высокого порядка. Используются серии последовательно расположенных факторизационных машин (Factorization Machines, FMB). Модель демонстрирует плавное масштабирование качества в зависимости от размера датасета, объёма вычислений и ограничений по параметрам. Источник: оригинальный пост