Design of integration ETL processes for loading data from sources into Lakehouse
Identification of sources and analysis of data within them
Writing a prototype select query for data selection (SparkSQL)
Development of documentation (FSD, table specifications)
Definition of acceptance criteria
Assigning tasks to the development team
Acceptance of results
Requirements
Work experience: 3–6 years
-
-1. Confident SQL skills (preferably Oracle, PostgreSQL dialects), knowledge of CTE and ability to write complex queries + DML queries
-2. Knowledge of SparkSQL (ability to write and view query plans)
-2. Understanding of DWH structure (layers). Proficiency in one of the DWH construction methodologies. Mandatory experience with DWH
-3. Understanding of ETL/ELT processes
-4. Systems analysis and technical documentation skills
-5. Experience with Jira + Confluence or similar tools
Nice to have
-1. Experience with Greenplum or other MPP databases
-2. Knowledge of Python
-3. Experience with Apache Airflow
-4. Knowledge of PL/SQL or PgPL/SQL
Benefits
Full-time
Schedule: 5/2
Work format: remote
Bell Integrator РегионыData Engineer
Опыт работы: 3–6 лет
Полная занятость
График: 5/2
Формат работы: удалённо
☑️ Чем предстоит заниматься
-Проектирование интеграционных ETL процессов по загрузки данных из источников в Lakehouse
-определение источников и анализ данных в них
-написание прототипа select-запроса на отбор данных (SparkSQL)
-разработку документации(FSD , спецификации таблиц)
-определение критериев приёмки
-постановка задач на команду разработки
-приёмка результата
☑️ Наши пожелания к кандидатам
-
-1.Уверенное владение SQL (в приоритете диалекты Oracle, PostgreSQL),знание CTE и умение писать сложные запросы + DML запросы
-2. Знание SparkSQL (умение писать SELECT и смотреть план запроса )
-2.Понимание структуры DWH (слои). Владение одной из методологий построения DWH. Обязательный опыт работы с DWH
-3.Понимание процессов ETL/ELT
-4.Навыки системного анализа и ведения технической документации
-5.Навыки работы с Jira + Confluence или аналогичное
-Будет плюсом:
-1.Опыт работы с Greenplum или другой MPP БД
-2.Знание Python
-3.Опыт работы с Apache Airflow
-4.Знание PL\SQL или PgPL\SQL
