Ключевые статьи 2025 года о рекомендательных системах
Ключевые статьи 2025 года о рекомендательных системах Эксперты продолжают вспоминать самые обсуждаемые статьи о рекомендательных системах за прошедший год. Рассмотрим несколько интересных работ. В статье ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation представлена методика контекстуальной токенизации действий для генеративных рекомендаций. Метод учитывает контекстуальные связи между действиями и улучшает NDCG@10 на 6,00–12,82% по сравнению с существующими подходами. Исследователи из Яндекса в работе Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval предложили уточнённую формулу LogQ-коррекции для улучшения работы softmax в масштабных системах извлечения. Метод показывает рост метрик на различных наборах данных. Ещё одна статья от Яндекса — Scaling Recommender Transformers to One Billion Parameters — описывает подход ARGUS для масштабирования рекомендательных трансформеров. Внедрение в Яндекс Музыку дало прирост: +2,26% к времени прослушивания и +6,37% к вероятности лайка. В работе PinFM: Foundation Model for User Activity Sequences at a Billion-scale Visual Discovery Platform представлена универсальная foundational-модель для рекомендаций. Оптимизации, включая Deduplicated Cross-Attention Transformer (DCAT), увеличили производительность на 600% на внутренних данных Pinterest. Материалы по ссылкам: 1. ActionPiece: Contextually Tokenizing Action Sequences for Generative Recommendation Что в статье: В статье предлагается метод ActionPiece для контекстуальной токенизации последовательностей действий в генеративных рекомендациях. Метод ActionPiece учитывает контекстуальные отношения между действиями, представляя каждое действие как набор признаков элементов, которые служат начальными токенами. Для построения словаря метод использует слияние шаблонов признаков в новые токены на основе частоты их совместного появления. Вводится регуляризация перестановки наборов, которая создаёт несколько сегментов последовательностей действий с одинаковыми семантиками. Эксперименты на общедоступных наборах данных демонстрируют, что ActionPiece Источник материала: ссылка 2. Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval Что в статье: В статье рассматривается проблема смещения в двухбашенных нейронных сетях для этапа извлечения в рекомендательных системах при использовании sampled softmax. Описывается техника logQ correction для корректировки логитов во время обучения, но отмечается, что она не полностью устраняет смещение. Предлагается уточнённая формула коррекции, учитывающая особенности Monte Carlo-выборки. Метод оценивается на общедоступных и проприетарных наборах данных, демонстрируя последовательные улучшения по сравнению со стандартной logQ correction. Источник материала: ссылка 3. Scaling Recommender Transformers to One Billion Parameters Что в статье: В работе представлен метод обучения трансформеров для рекомендательных систем с количеством параметров до миллиарда. Показано, что авторегрессионное обучение на истории пользователей естественным образом раскладывается на две подзадачи: предсказание обратной связи и предсказание следующего элемента. Продемонстрирована эффективность масштабирования такой декомпозиции для различных размеров трансформеров. Архитектура успешно внедрена на крупной музыкальной платформе. Согласно онлайн A/B-тестам, новая модель увеличивает общее время прослушивания на 2,26% и повышает вероятность лайков пользователей на 6,37%. Источник материала: ссылка 4. Рекомендательная [RecSys Channel] Что в Источник: оригинальный пост