Gryphon: Новая Архитектура для Генерации Semantic ID и Оценки Элементов в Рекомендатель...
Gryphon: Новая Архитектура для Генерации Semantic ID и Оценки Элементов в Рекомендательных Системах Разработанная модель Gryphon представляет собой инновационную архитектуру для генерации Semantic ID и оценки элементов в рекомендательных системах, особенно в промышленных музыкальных сервисах. Вместо традиционного подхода, где модель предсказывает конкретный объект напрямую, Gryphon генерирует его через последовательность семантических токенов, что позволяет работать с огромными каталогами. Эта технология решает проблему коллизий идентификаторов и обеспечивает масштабируемое разрешение конфликтов, сохраняя при этом высокое качество рекомендаций. Применение Gryphon на Яндекс Музыке показало значительное улучшение показателя Recall@1000 на уровне элементов без существенного изменения общего времени прослушивания. Ссылки из исходного поста: статью | Data Fest | Дарья Тихонович | TIGER | PRM | Argus Материалы по ссылкам: 1. Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations Gryphon — это архитектура для генерации Semantic-ID и оценки элементов на уровне товаров в промышленных рекомендациях. Она добавляет компонент оценки элементов на уровне товаров к генерации SID, повторно используя представление пользователя, вычисленное за один прямой проход. На промышленном музыкальном сервисе Gryphon достигает наивысшего Recall@1000 на уровне элементов по сравнению с сильными базовыми показателями. Также упрощается система генерации кандидатов, при этом статистически значимого изменения общего времени прослушивания не происходит. https://arxiv.org/abs/2606.08604 2. Red RecSys Red RecSys — канал, посвящённый RecSys и связанным с ними темам: машинному обучению (ML), глубокому обучению (DL), карьере и open-source. У канала 1 126 подписчиков. https://t.me/redrecsys 3. Recommender Systems with Generative Retrieval В статье предлагается новый подход к генеративному поиску в рекомендательных системах, где модель авторегрессивно декодирует идентификаторы целевых кандидатов. Для этого создаются семантически значимые кортежи кодовых слов, служащие в качестве семантических идентификаторов для каждого элемента. Трансформер-based модель обучается предсказывать семантический идентификатор следующего элемента, с которым пользователь будет взаимодействовать. Показано, что системы, обученные с использованием предложенной парадигмы, значительно превосходят современные модели на различных наборах данных. https://arxiv.org/abs/2305.05065 4. PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations В статье предлагается новый фреймворк Promise, который интегрирует пошаговую верификацию в генеративные модели. Promise использует облегчённую модель вознаграждения за процесс (PRM) для оценки качества промежуточных шагов вывода и стратегию поиска с учётом PRM для динамического отсечения ошибочных ветвей. Подход позволяет меньшим моделям соответствовать или превосходить более крупные модели за счёт увеличения вычислительных ресурсов на этапе вывода. Эксперименты демонстрируют, что Promise эффективно снижает семантический дрейф и значительно улучшает точность рекомендаций. https://arxiv.org/abs/2601.04674v1 5. Scaling Recommender Transformers to One Billion Parameters В статье рассматривается проблема масштабирования трансформеров для рекомендательных систем. Представлен метод обучения больших трансформерных рекомендательных систем с количеством параметров до миллиарда. Описывается успешное внедрение предложенной архитектуры на крупной музыкальной платформе. Согласно онлайн A/B-тестам, новая модель увеличивает общее время прослушивания на 2,26% и повышает вероятность лайков пользователей Источник: оригинальный пост