Kunlun: как масштабируют рекомендательные системы
Kunlun: как масштабируют рекомендательные системы Продолжаем разбор статьи о системе Kunlun. Модель включает два основных блока: Kunlun Transformer Block, который обрабатывает историю с учётом контекста, и Kunlun Interaction Block, отвечающий за обмен информацией между различными признаками. В модели применяются несколько ключевых технологий: — cross-attention для извлечения информации из последовательности и обогащения истории пользователя контекстом; — GDPA (Generalized Dot Product Attention) для преобразования последовательности событий; — Hierarchical Seed Pooling (HSP) вместо традиционного PMA для передачи информации из истории действий пользователя; — Multi-expert Wukong для захвата взаимодействий между контекстными фичами и историей пользователя. Авторы оптимизировали модель, заменив неэффективные блоки на более GPU-friendly и применив трюки из LLM. В результате модель масштабируется примерно в два раза эффективнее бейзлайнов, а использование GPU (MFU) на B200 выросло с 17 % до примерно 37 %. В Meta Ads это дало прирост бизнес-метрик на 1,2 %.
Канал в каталоге Максиметера
2 подписчиков · IT и технологии