4638 - Активный запрос: Data Engineer, Middle+, Senior ❗️ — 15 июля 2026 г. в 12:40:53.066
4638 - Активный запрос: Data Engineer, Middle+, Senior ❗️ Оплата: Ежеквартально 🔥 Важно! Срок подачи кандидатов до 20.07.2026 16:00 - Рейт: 2240.0 - Локация: Только РФ - Часовой пояс: МСК - Формат работы: Гибрид - Особые условия: Гибрид в Москве на Вавилова - договорной формат, на старте 3 дня и более может быть в офисе, далее опционально. Описание потоков данных: HDFS > Spark > Hive > Greenplum > Clickhouse > Superset ВАЖНО, это BIG DATA, речь идет о миллиардах строк - Проект: Подготовка и визуализация данных для финансового департамента - Длительность: Более года 🎯 Компетенции: HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana 📌 Основные задачи: - Разработка ETL на Apache Spark (Java стек) - Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse); - Разработка витрин данных в Greenplum и ClickHouse - Оркестрация ETL-процессов. - Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль). - Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset. ✅ Требования: - Опыт работы с Apache Spark (Java) от 1 года - ОБЯЗАТЕЛЬНО - Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет - Опыт работы с Hadoop (HDFS, Hive) - Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных - Опыт оптимизации ETL-пайплайнов и SQL кода - Продвинутые знания SQL. - Понимание принципов работы распределенных систем. - Готовность осваивать Java для использования Spark 📩 Просьба предоставлять CV вместе с ФИО, рейтом, локацией (страна + город) и оценкой +/- по требованиям. ✉️ Писать в Max