Gryphon: новая архитектура рекомендаций в Яндекс Музыке
Gryphon: новая архитектура рекомендаций в Яндекс Музыке Gryphon — это гибридная архитектура, которая объединяет генерацию кандидатов и их ранжирование в рекомендательных системах. Модель использует Semantic IDs (семантические идентификаторы) для работы с большими каталогами. Например, вместо прямого предсказания трека модель поэтапно генерирует его, сначала определяя жанр, затем исполнителя и композицию. В основе Gryphon — encoder-decoder архитектура. С помощью beam search модель генерирует набор Semantic IDs на основе истории пользователя. Для предотвращения накопления ошибок при генерации применяется PRM (Process Reward Model), которая оценивает траектории генерации. После этого ORM (Output Reward Model) оценивает релевантность полученных Semantic IDs в общем пуле кандидатов. В A/B-тестах Gryphon заменил более 15 моделей кандидатогенерации и преранжирования в Яндекс Музыке, сократив число кандидатов для финального ранкера с 3000 до 1000 без потери качества. Модель дала прирост в 3,6% по количеству команд «Нравится» и увеличила разнообразие рекомендаций. Сейчас Gryphon активно развивается и тестируется в экспериментах с end-to-end-рекомендациями и кросс-доменными генеративными моделями Яндекса. Ссылки из исходного поста: статью | Data Fest | Дарья Тихонович | TIGER | Argus Материалы по ссылкам: 1. Gryphon: A Unified Architecture for Semantic-ID Generation and Item-Level Scoring in Industrial Recommendations Что в статье: Gryphon — это унифицированная архитектура для генерации Semantic-ID и оценки элементов на уровне элементов в промышленных рекомендациях. Архитектура включает компонент оценки элементов на уровне элементов, который обучается совместно с генерацией SID. Gryphon решает каждый сгенерированный SID до конкретных элементов и пересчитывает их оценки напрямую, что позволяет избежать неправильно откалиброванных оценок последовательностей и разделения элементов, которые совпадают по одному идентификатору. На промышленном музыкальном сервисе Gryphon достигает наивысшего Recall@1000 на уровне элементов по сравнению с базовыми алгоритмами. Gryphon Источник материала: ссылка 2. Red RecSys Что в статье: Red RecSys — канал, посвящённый RecSys и связанным с ними темам, таким как машинное обучение (ML), глубокое обучение (DL), карьера и open-source. У канала 1 136 подписчиков. Источник материала: ссылка 3. Recommender Systems with Generative Retrieval Что в статье: В статье предлагается новый подход к генеративному поиску в рекомендательных системах, где модель авторегрессивно декодирует идентификаторы целевых кандидатов. Для этого создаются семантически значимые кортежи кодовых слов, служащие в качестве семантических идентификаторов для каждого элемента. Используется модель на основе Transformer для предсказания семантического идентификатора следующего элемента, с которым пользователь будет взаимодействовать. Рекомендательные системы, обученные с использованием предложенной парадигмы, значительно превосходят современные модели на различных наборах данных. Источник материала: ссылка 4. PROMISE: Process Reward Models Unlock Test-Time Scaling Laws in Generative Recommendations Что в статье: В статье предлагается фреймворк Promise, который интегрирует пошаговую верификацию в генеративные модели. Фреймворк Promise использует облегчённую модель Process Reward Models (PRM) для оценки качества промежуточных шагов вывода. Подход позволяет использовать законы масштабирования во время тестирования для систем рекомендаций: увеличивая вычислительные ресурсы при выводе, можно добиться того, что меньшие Источник: оригинальный пост