Продолжение 7282
Продолжение 7282 ✅ Требования: - Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО. - Опыт работы с ключевыми компонентами нашего стека: DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis). - Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты). - Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3. - CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами. - Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning). - Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors. - Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку. - Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации). - Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity). - Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC). - Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+). - Опыт заведения и сопровождения заявок в сервис-деске. Будет плюсом: - Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.). - Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде. - Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE). - Опыт работы с CI/CD для data-пайплайнов. - Понимание принципов DDD, event-driven архитектуры. - Опыт работы с Apache NiFi. Опыт работы со стеком: Postgres, MSSQL Stack, Redis, Cassandra, Trino, StarRocks, Apache Kafka, Apache Flink, Apache Airflow, Apache NiFi, Apache Spark, Apache Iceberg, Apache Paimon, Lakekeeper, S3, MQTT, REST, gRPC, Python, SQL, Bash / shell-скрипты, Git 📩 Просьба предоставлять CV вместе с ФИО, рейтом, грейдом, локацией (страна + город) и оценкой +/- по требованиям. ✉️ ✉️Писать в Max