КРУГОВОРОТ ДАННЫХ В КОМПАНИИ. ИЛИ КАК НЕ РАЗРАБАТЫВАТЬ BI-ОТЧЁТЫ «В СТОЛ»
КРУГОВОРОТ ДАННЫХ В КОМПАНИИ. ИЛИ КАК НЕ РАЗРАБАТЫВАТЬ BI-ОТЧЁТЫ «В СТОЛ» ЧАСТЬ 4. ВНЕДРЕНИЕ DWH И ETL Бизнес генерит данные, они сохраняются в различных информационных системах - точка А. BI визуализирует данные в пригодном для анализа виде - точка Б. Прежде чем попасть из точки А в точку Б, данные проходят некоторые процедуры. Что это за процедуры? ✨ Данные необходимо из источника (информационной системы) забрать. ✨ Данные необходимо обработать (почистить, отфильтровать, агрегировать, распарсить, объединить и т.п.). ✨ Данные нужно где-то хранить. В идеале - бэкапить, версионировать, делить на слои с точки зрения обработки и т.п. ✨ Повторять действия получения и обработки данных по расписанию обновлений. В минимальном варианте многие эти задачи решают сами BI-системы. У них есть встроенные коннекторы и инструменты для подключения к разным системам, они забирают данные, они могут их обрабатывать и иногда хранить внутри себя, и умеют обновлять. 📌 Внедрение DWH и ETL Что тогда такое DWH и ETL? ✨ ETL (Extract-Transform-Load) – инструменты внедрения и очистки данных, которые достают информацию из внешних источников, а затем очищают и трансформируют ее для размещения в хранилище. ✨ DWH (Data Warehouse) – единое аналитическое корпоративное хранилище данных из разных источников. ✨ DWH и ETL могут быть как отдельными продуктами, могут существовать в одном продукте, а могут быть составными частями других продуктов (например, BI). Когда и почему они нужны дополнительно к BI? 🚫 Не у каждой BI-системы есть модуль ETL (для загрузки и обработки данных). Если он есть, то его функциональные возможности не всегда широки. Иногда это базовый функционал из разряда 20/80 - когда 20% возможностей закрывает 80% потребностей. Отдельный ETL нужен, когда BI не может решить задачу обработки и/или обновления данных так, как это нужно бизнесу. 🚫 Не каждая BI-система может хранить и обрабатывать столько данных, сколько нужно для полноценной работы аналитики в компании. Данных может быть много или даже очень много. Нужны частичные обновления, нужна историчность, мощности для обработки и т.д. - это запрос на DWH. 🚫 Могут быть сложности при работе с определёнными источниками данных, когда BI не может полноценно забирать данные из информационной системы - нужен "посредник". 🚫 Нужна версионность данных, а исходная информационная система такой возможности не предоставляет - нужно дополнительное хранение старых данных. На самом деле при работе с данными возникает много разных сложностей, которые не всегда решаются BI-системой. Да BI, мягко говоря, и не должна решать всех вопросов работы с данными. Ведь её основная задача - представление данных в удобном для анализа виде. Особенно актуальна потребность в DWH и ETL, как в дополнительных инструментах становится сейчас, когда на рынке активно продвигают себя отечественные BI, которые в силу своего возраста ещё не "обросли" функционалом своих западных монстров-конкурентов. #посты_из_тг