От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse🔷
От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse🔷 Привет, это Муса Мусаев, ведущий разработчик витрин данных. Каждый день мы обеспечиваем доставку ∼10 млрд записей в разных форматах. Это данные, связанные с товарными запасами и движениями. ❓Наша задача — 5 раз в день обогащать многомиллионные датасеты миллиардами атрибутов. И делать это быстро. Но как мы все знаем, ClickHouse читает данные огромными блоками, и при случайном доступе эффективность падает к нулю. ❗️Решили проблему через принцип локальности данных и виртуальные партиции. 💻 В статье я делюсь чертежами архитектуры и боевыми примерами таблиц на ReplicatedReplacingMergeTree. Под капотом: схемы и наш четырёхшаговый ритуал ускорения. Главный вывод — физическая близость данных важнее любых индексов. #ozontech_habr #CH