7282 - Активный запрос: Data Engineer, Senior ❗️
7282 - Активный запрос: Data Engineer, Senior ❗️ 🔥 Важно! Срок подачи кандидатов до 14.10.2026 15:00 - Рейт: 1960.0 - Локация: РФ и РБ - Часовой пояс: МСК + - Формат работы: Удаленно - Особые условия: Требуется оформление к нам в штат на 0,01 ставки. У кандидата должны быть все необходимые документы - Гражданство: РФ, РБ - Требуется оформление к нам в штат на 0,01 ставки - Проект: Масштабный проект цифровой трансформации, влияющий на ключевые производственные процессы. - Длительность: До 6 месяцев - Возможность пролонгации: Да 📌 Основные задачи: - Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования. - Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей. - Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark. - Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O). - Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации. - Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB. Работа с Jira: ведение задач, управление статусами и связями между задачами. - Поддержка технической и бизнес-команд: обработка заявок на поддержку существующих потоков данных или разработку новых, заведение и контроль исполнения заявок внутренних команд. - Поддержка команды в систематизации и автоматизации процессов. - Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований. - Обеспечение прозрачности статуса технических задач и процессов для всей команды.