Новый подход к генеративным рекомендациям: дискретная диффузия
Новый подход к генеративным рекомендациям: дискретная диффузия Авторы статьи предложили альтернативу авторегрессивной генерации — параллельную реконструкцию айтема с помощью дискретной диффузии. Такой подход решает несколько проблем: избавляет от необходимости выстраивать строгую иерархию семантических ID, позволяет учитывать историю пользователя при генерации и ускоряет инференс. Модель работает с замаскированными семантическими токенами и восстанавливает их на основе пользовательской истории. Для отбора кандидатов используется гибридная схема с элементами beam search: модель фиксирует самые уверенные токены, а затем отбирает следующие по уверенности семантики. Чтобы адаптировать диффузию под рекомендательный домен, применяется стратегия маскирования, учитывающая сложность семантических токенов. Чаще маскируются те токены, которые реже встречались в истории пользователя. Айтем представляется через несколько независимых кодбуков, а эмбеддинг разбивается на подпространства и квантизируется отдельно. На офлайн-датасетах Amazon Books и Electronics модель показала лучшие результаты среди item- и semantic-based-подходов. В онлайн-тестах зафиксирован рост GMV и CTR.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии