Новый метод сжатия пользовательской истории в рекомендательных системах
Новый метод сжатия пользовательской истории в рекомендательных системах Исследователи из Meta предложили способ оптимизировать последовательные рекомендательные модели. Метод позволяет эффективно обрабатывать длинные истории взаимодействий пользователя, не теряя в качестве рекомендаций. Вместо того чтобы обрабатывать всю историю как одну длинную последовательность, её разбивают на сегменты и сжимают в «экспертов» — специальные токены. При этом последний сегмент истории остаётся неразжатым, и модель видит его полностью. Обучение модели происходит в авторегрессионном режиме с использованием специальной маски внимания. На этапе инференса модель использует только текущий сегмент и сохранённые «эксперты» из предыдущих сегментов, что существенно снижает вычислительные затраты. Эксперименты на двух датасетах — MerRec (e-commerce) и EB-NeRD (новостной) — показали, что метод сохраняет качество рекомендаций и заметно превосходит подходы, основанные только на недавней истории. Исходный код доступен на GitHub: https://github.com/facebookresearch/PerSRec. Ссылки из исходного поста: статью | HSTU | HLLM | KuaiFormer | SIM | TWIN V2 Материалы по ссылкам: 1. Efficient Sequential Recommendation for Long Term User Interest Via Personalization Что в статье: В статье представлен новый подход к последовательным рекомендациям, который использует техники персонализации для повышения эффективности и производительности. Метод сжимает длинные истории взаимодействий пользователя в обучаемые токены, которые затем комбинируются с недавними взаимодействиями для генерации рекомендаций. Подход значительно снижает вычислительные затраты при сохранении высокой точности рекомендаций. Метод может быть применён к существующим моделям рекомендаций, основанным на трансформерах, таким как HSTU и HLLM. Источник материала: ссылка 2. Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations Что в статье: В статье предлагается новая архитектура HSTU для рекомендательных систем, работающих с высококардинальными, неоднородными признаками и потоками данных большой интенсивности. Архитектура HSTU превосходит базовые модели на синтетических и общедоступных наборах данных до 65,8% в NDCG и работает в 5,3–15,2 раза быстрее, чем трансформеры на основе FlashAttention2 на последовательностях длиной 8192. Рекомендательные системы на основе HSTU с 1,5 триллионами параметров улучшают метрики в онлайн A/B-тестах на 12,4% и развёрнуты на множестве поверхностей крупной интернет-платформы с миллиардами пользователей. Качество модели эмпирически Источник материала: ссылка 3. HLLM: Enhancing Sequential Recommendations via Hierarchical Large Language Models for Item and User Modeling Что в статье: В статье предлагается архитектура иерархической большой языковой модели (HLLM) для улучшения систем последовательных рекомендаций. Модель состоит из двух уровней: Item LLM извлекает богатые характеристики контента из подробного текстового описания товара, а User LLM использует эти характеристики для прогнозирования будущих интересов пользователей на основе их истории взаимодействия. Эксперименты показали, что метод эффективно использует предварительно обученные возможности открытых LLM и что дальнейшая тонкая настройка приводит к значительному повышению производительности. HLLM достигает отличной масштабируемости, используя 7 миллиардов Источник материала: ссылка 4. KuaiFormer: Transformer-Based Retrieval at Kuaishou Что в статье: KuaiFormer — это новая система Источник: оригинальный пост