7359 - Активный запрос: Data Engineer, Middle+, Senior ❗️
7359 - Активный запрос: Data Engineer, Middle+, Senior ❗️ 🔥 Важно! Срок подачи кандидатов до 28.10.2026 12:00 - Рейт: смотрим ваши ставки - Локация: Только РФ - Часовой пояс: МСК - Формат работы: Удаленно - Особые условия: Постоплата - 75 календарных дней. - Гражданство: РФ - Проект: Заказчик - крупная розничная сеть. Проект - развитие и архитектурное совершенствование корпоративной платформы данных для крупной розничной сети. - Длительность: Более года - Возможность пролонгации: Да 📌 Основные задачи: - Создание и развитие Spark-пайплайнов, в том числе Structured Streaming; - Проектирование модульных и динамических DAG, разработка кастомных операторов, сенсоров и хуков; - Построение слоистой модели в dbt (staging, intermediate, marts): реализация incremental‑моделей, снимков (snapshots), макросов, настройка Slim CI; - Проектирование структур Data Vault 2.0 (Hub, Link, Satellite) под новые источники данных; - Выбор архитектуры и форматов хранения данных (Parquet, Iceberg), проектирование схем с учётом ожидаемой нагрузки; - Настройка CI/CD‑процессов в GitLab (окружения dev, stage, prod; работа с runners и механизмом approvals); - Внедрение DQ‑фреймворков (например, Great Expectations), настройка метрик качества данных и алертов; - Развитие Semantic Layer (Cube, MetricFlow) и выстраивание lineage в DataHub; - Составление дата‑контрактов. ✅ Требования: - Опыт в data‑инжиниринге от 4 лет; - Уверенное владение Python: навыки работы с ООП, асинхронностью, многопоточностью; понимание типизации, умение писать тесты и проводить профилирование кода; - Продвинутые навыки работы со Spark: умение оптимизировать и тюнинговать задачи, анализировать планы выполнения и логи; - Глубокое понимание SQL: работа с EXPLAIN и планами выполнения запросов, настройка индексов, знание особенностей разных движков СУБД; - Опыт работы с Airflow на прикладном уровне: использование XCom, настройка пулов и SLA, работа с KubernetesPodOperator; - Высокий уровень владения dbt; - Навыки эффективной работы с Git: владение командами rebase и cherry‑pick, организация версионирования релизов; - Практический опыт с Kubernetes и Docker: умение оптимизировать контейнерные образы; - Работа с S3: настройка lifecycle‑правил и управление версионированием объектов; - Знания и опыт администрирования СУБД: работа с партиционированием, шардированием, репликацией, настройкой бэкапов и миграций, понимание механизмов блокировок и уровней изоляции транзакций; - Умение создавать дашборды и настраивать алерты, в Grafana или аналогичных инструментах. ➕ Дополнительные требования: - Опыт работы в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание подхода с дата‑контрактами. 📩 Просьба предоставлять CV вместе с ФИО, рейтом, локацией (страна + город) и оценкой +/- по требованиям. ✉️ Писать в Max