Яндекс открыл код YTsaurus Flow — с ним алгоритмы быстрее замечают, что интересы пользо...
Яндекс открыл код YTsaurus Flow — с ним алгоритмы быстрее замечают, что интересы пользователей изменились Flow обрабатывает клики, лайки и другие события по мере поступления. Рекомендациям и рекламе нужны свежие сведения: что человек покупает, какую музыку слушает, о чём спрашивает. При обычной пакетной обработке данные сначала накапливают, поэтому задержка может растянуться на часы. Flow сокращает её практически до нуля. Как устроена работа: — Каждое событие обрабатывается ровно один раз — без потерь и дублей. — При сбоях нагрузка перераспределяется между доступными серверами, и обработка продолжается. — Flow работает внутри YTsaurus: накопленные данные и свежие события можно учитывать в одной системе. Технологию уже используют Маркет, антифрод — системы борьбы с мошенничеством — и Реклама Яндекса. В Рекламе Flow обрабатывает более 100 ГБ данных и миллионы событий каждую секунду. Подготовка данных для дообучения некоторых моделей раньше занимала больше 10 часов; теперь эту задержку удалось почти полностью устранить. За пределами рекламы Flow подходит для подготовки данных для обучения ML-моделей — моделей машинного обучения, обновления информации на сайтах и в приложениях, подсчёта просмотров, кликов и заказов. Код YTsaurus Flow доступен под лицензией Apache 2.0, которая разрешает использование в коммерческих продуктах. В открытый доступ вышла технология, уже работающая в сервисах Яндекса, а не экспериментальный прототип. Код YTsaurus Flow: http://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow Источник: https://t.me/data_secrets/10109 #RealVibe #AI #AI_Инструменты