Data Engineer (ETL migration)

Russia16 days ago

Details

Grade

Middle

Work format

Remote

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

Role: Data Engineer (ETL migration) Level: Middle+, Senior Project: Telecom

Responsibilities

Migration of a telecom operator's ETL system from Oracle/Informatica to Apache stack (S3, Airflow, NiFi, Kafka, Greenplum);
Transferring business logic from Informatica to high-performance SQL code;
Writing and optimizing SQL for data marts and ETL processes;
Developing DAGs in Airflow;
Setting up pipelines in NiFi (sources: Oracle, PostgreSQL; sinks: S3, file archives);
Developing Spark jobs (PySpark) for large volumes;
Integration with Kafka for streaming;
Setting up monitoring (Grafana/Prometheus) and tracking metrics;
Investigating incidents related to data quality and loading errors;
Code review

Requirements

Experience in migrating ETL systems (preferably from Oracle/Informatica to Apache stack);
Deep SQL: window functions, complex joins, hierarchical queries;
SQL optimization for highload (partitioning, indexes, explain plans);
Oracle (PL/SQL) and PostgreSQL;
Greenplum and/or Clickhouse;
Designing architectures on Apache Spark (PySpark), NiFi, Airflow;
Hadoop (HDFS) and Hive;
ETL monitoring: Grafana/Prometheus or Victoria Metrics;
Experience with billing systems (preferably telecom domain)

ETL system migration, SQL (window functions, optimization), Oracle PL/SQL, PostgreSQL, Greenplum, Clickhouse, Apache Spark (PySpark), NiFi, Airflow, Kafka, Hadoop, Hive, Grafana/Prometheus, billing, telecom

Nice to have

Stream processing: Kafka Streams / Spark Streaming;
Informatica PowerCenter (understanding of the migrated system);
Binary storage formats in Hadoop;
Differences: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
Patroni for PostgreSQL/Greenplum clustering;
S3 storage;
CryptoPro or secure data transmission channels

Benefits

Work format: remote Citizenship, location RF

Роль: Data Engineer (ETL-миграция) Уровень: Middle+, Senior Проект: Телеком Формат работы: удаленный Гражданство, локация РФ

Обязательно:

Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
Оптимизация SQL для highload (партиционирование, индексы, explain plans);
Oracle (PL/SQL) и PostgreSQL;
Greenplum и/или Clickhouse;
Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
Hadoop (HDFS) и Hive;
Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
Опыт работы с биллинговыми системами (желательно телеком-домен).

Желательно:

Потоковая обработка: Kafka Streams / Spark Streaming;
Informatica PowerCenter (понимание мигрируемой системы);
Бинарные форматы хранения в Hadoop;
Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
Patroni для кластеризации PostgreSQL/Greenplum;
S3-хранилища;
КриптоПро или защищенные каналы передачи данных.

Задачи:

Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
Написание и оптимизация SQL для витрин данных и ETL-процессов;
Разработка DAG-ов в Airflow;
Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
Разработка Spark-джобов (PySpark) для больших объемов;
Интеграция с Kafka для потоковой передачи;
Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
Разбор инцидентов по качеству данных и ошибкам загрузки;
Code review.

Ключевые компетенции для отбора: миграция ETL-систем, SQL (оконные функции, оптимизация), Oracle PL/SQL, PostgreSQL, Greenplum, Clickhouse, Apache Spark (PySpark), NiFi, Airflow, Kafka, Hadoop, Hive, Grafana/Prometheus, биллинг, телеком

Направить CV