«Яндекс» улучшил формулу ML-рекомендаций: на 7% выше качество
«Яндекс» улучшил формулу ML-рекомендаций: на 7% выше качество Исследователи из «Яндекса» усовершенствовали ключевую формулу для ML-рекомендаций. Современные рекомендательные системы часто используют двухбашенные нейросети, которые сопоставляют пользователей с контентом (фильмами, треками, товарами). Для обучения таких моделей применяют функцию softmax-лосс, но при большом каталоге она становится неэффективной. Поэтому используют sampled softmax — выбирают один «правильный» ответ и небольшую подвыборку «неправильных». Проблема в том, что популярные элементы часто попадают в «негативные» примеры, и модель занижает их рейтинг. Для компенсации применяют формулу logQ correction, но она, как выяснилось, некорректно работает с «правильными» элементами. В «Яндексе» предложили улучшенную формулу: она исключает положительный пример из списка негативных и добавляет вес, зависящий от уверенности модели в выборе. В результате качество рекомендаций повысилось на 7%. Исследование приняли на ACM RecSys — крупнейшую конференцию по рекомендательным системам.