MTGR от Meituan: новая архитектура рекомендательной системы
MTGR от Meituan: новая архитектура рекомендательной системы Meituan, крупнейший сервис доставки в Китае, представил архитектуру ранжирования MTGR. Она сочетает масштабируемость генеративных моделей и использование кросс-фич. Авторы решили две проблемы: линейное масштабирование вычислительной сложности в классических DLRM-моделях и потерю качества при отказе от кросс-фич в GRM-моделях. В MTGR все входные признаки токенизируются: профиль пользователя, история (долгосрочная и краткосрочная) и кандидаты. Затем применяется модифицированный трансформер HSTU с Group-Layer Normalization и Dynamic Masking. Оптимизации позволили увеличить пропускную способность в 1,6–2,4 раза и получить x65 FLOPs на один пример без роста затрат на обучение. В онлайн-эксперименте MTGR показал прирост CTR на 1,9% и CTCVR на 1,02% по сравнению с лучшим DLRM-бейзлайном.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии