Ищем Data Engineers для участия в масштабном проекте миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache-стек.
🏢 Сфера: Телекоммуникации
👤 Грейд: Senior
📍 Локация и гражданство: РФ
🏠 Формат: удалённо
📄 Оформление: только по ИП
🕘 Занятость: Full-time
⏰ График: МСК ±2 часа
🛠 Ключевой стек: SQL, Oracle (PL/SQL), PostgreSQL, Greenplum / ClickHouse, Apache Spark (PySpark), Apache NiFi, Apache Airflow, Hadoop (HDFS), Hive, Kafka, S3, Grafana, Prometheus / VictoriaMetrics.
📌 Задачи:
- Миграция ETL-системы с Oracle/Informatica на Apache-стек.
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL.
- Разработка и оптимизация SQL-запросов для витрин данных и ETL-процессов.
- Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi.
- Разработка Spark-джобов (PySpark) для обработки больших объёмов данных.
- Интеграция с Kafka для потоковой передачи данных.
- Настройка мониторинга ETL-процессов и отслеживание метрик.
- Анализ инцидентов, связанных с качеством данных и ошибками загрузки.
- Проведение Code Review.
✅ Обязательные требования:
- Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.
- Глубокое знание SQL: оконные функции, сложные JOIN, иерархические запросы.
- Опыт оптимизации SQL для Highload: партиционирование, индексы, Explain Plans.
- Уверенное владение Oracle (PL/SQL) и PostgreSQL.
- Опыт работы с Greenplum и/или ClickHouse.
- Опыт проектирования решений на Apache Spark (PySpark), NiFi, Airflow. Знание Hadoop (HDFS) и Hive.
- Опыт мониторинга ETL через Grafana/Prometheus или VictoriaMetrics.
- Опыт работы с биллинговыми системами (телеком-домен будет преимуществом).
⭐ Будет плюсом:
- Kafka Streams / Spark Streaming. Informatica PowerCenter.
- Бинарные форматы хранения данных в Hadoop.
- Понимание различий Hive / Impala, Greenplum / PostgreSQL, ClickHouse / PostgreSQL.
- Patroni для кластеризации PostgreSQL/Greenplum.
- Опыт работы с S3-хранилищами.
📩 Заинтересовала вакансия? Присылайте резюме в Telegram контакт рекрутера
