🩹 Почему пайплайн ломается всегда в 3 ночи
🩹 Почему пайплайн ломается всегда в 3 ночи Данные — как сантехника: всё течёт, пока кто-то не проснётся от уведомления «джоб упал». А падает он не случайно, у поломок есть любимые сценарии. Где рвётся чаще всего: — источник тихо поменял формат, а тебя предупредить забыл — «грязные» данные пролезли дальше по трубе — чистить надо на входе, а не в конце — нет трекинга: отчёт врёт, а где именно сломалось — ищи сам Лечится скучно, но надёжно: валидация на входе, понятные шаги, и логи, которые реально читают. #данные #DataEngineering #IT #пайплайны Мне кажется, хороший пайплайн — это не тот, что не падает, а тот, где сразу видно, куда бежать.
5 просмотров