В опенсорсе появилась технология для обработки данных в реальном времени
В опенсорсе появилась технология для обработки данных в реальном времени Яндекс выложил в открытый доступ технологию для непрерывной обработки больших потоков данных YTsaurus Flow, которая обрабатывает клики, лайки и другие события по мере их появления — обычно такие данные накапливают и обрабатывают с задержкой до нескольких часов. 🔹 Собственная разработка Яндекса стала отечественной альтернативой зарубежным решениям для потоковой обработки данных вроде Kafka и Spark. Теперь крупные российские компании могут самостоятельно развернуть Flow, использовать в проектах и дорабатывать под свои задачи. 🔹 В Маркете технология уже помогает быстрее собирать статистику для анализа спроса, в антифрод-системах — оперативно обнаруживать подозрительные действия, в Яндекс Рекламе — обрабатывать данные для подбора предложений. 🔹 Масштаб обработки — более 100 ГБ данных в секунду и миллионы событий. Flow работает с кликами, показами, лайками, заказами и другими событиями в реальном времени. 🔹 Технология сокращает задержку при подготовке данных для рекомендательных моделей в Рекламе: раньше на это уходило больше 10 часов, теперь около двух. 🔹 Экономический эффект — меньше затрат на инфраструктуру и быстрее обновление моделей. За счет обработки данных в реальном времени можно оперативнее реагировать на изменения спроса и интересов пользователей, не тратя ресурсы на лишнюю обработку и повторную запись данных. Подписывайтесь на СофтТех
Канал в каталоге Максиметера
6 066 подписчиков · IT и технологии