7360 - Активный запрос: Data Engineer, Middle, Middle+ ❗️
7360 - Активный запрос: Data Engineer, Middle, Middle+ ❗️ 🔥 Важно! Срок подачи кандидатов до 28.10.2026 12:00 - Рейт: смотрим ваши ставки - Локация: Только РФ - Часовой пояс: МСК - Формат работы: Удаленно - Особые условия: Постоплата - 75 календарных дней. - Гражданство: РФ - Проект: Заказчик - крупная розничная сеть. Проект - масштабирование и совершенствование корпоративной платформы данных для федеральной розничной сети. - Длительность: Более года - Возможность пролонгации: Да 📌 Основные задачи: - Создание и развитие ETL‑пайплайнов с использованием Python и PySpark; - Поддержка и доработка DAG в Airflow: анализ логов, устранение типовых сбоев, выполнение backfill; - Разработка dbt‑моделей, а также сопутствующих тестов и документации; - Обслуживание сущностей Data Vault 2.0 (в части Satellite); - Взаимодействие с хранилищем S3 (через boto3) и работа с СУБД; - Выполнение базовых проверок качества данных: контроль NULL‑значений, проверка уникальности ключей и корректности типов.; - Фиксация технической метаданных в DataHub и отслеживание статуса пайплайнов в системах мониторинга. ✅ Требования: - Не менее 2 лет опыта в роли data‑инженера; - Уверенное владение Python: синтаксис, основы ООП, написание ETL‑скриптов с применением готовых библиотек, навыки отладки; - Знание PySpark: работа с DataFrames API, понимание разницы между Action и Transformation, базовые представления об архитектуре Spark; - Навыки работы с SQL: построение JOIN, использование агрегаций и оконных функций, базовое понимание работы индексов; - Опыт в Airflow: настройка DAG, расписаний, операторов и сенсоров, работа с Connections и Variables, настройка ретраев и алертов; - Владение dbt: создание моделей, источников, использование refs и Jinja, настройка материализаций, seeds и тестов; - Работа с Git и GitLab CI: управление ветками, создание MR, участие в код‑ревью, чтение конфигураций .gitlab‑ci.yml; - Базовые навыки в Docker: составление Dockerfile, локальная сборка и запуск контейнеров; - Понимание различий между OLTP и OLAP, особенностей строковых и колоночных хранилищ, а также ключевых принципов Data Vault 2.0; - Опыт работы с СУБД: PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL (понимание реляционной модели и принципов ACID), базовые знания NoSQL; - Умение работать с инструментами мониторинга: чтение дашбордов в Grafana, Sentry, Kibana. ➕ Дополнительные требования: - Опыт в ритейле от 3 лет, навыки работы с Kubernetes и DataHub, знание дата‑контрактов. 📩 Просьба предоставлять CV вместе с ФИО, рейтом, локацией (страна + город) и оценкой +/- по требованиям. ✉️ Писать в Max