Data Engineer

Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH.

🔧 Задачи:

• проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов;
• разрабатывать программный код и проводить его тестирование;
• реализовывать кастомные трансформации данных;
• проектировать и создавать прототипы и витрины данных;
• разрабатывать процедуры на языке PL/pgSQL;
• проводить анализ производительности существующих систем;
• оптимизировать SQL-запросы и структуры баз данных;
• участвовать в масштабировании и повышении производительности систем;
• развивать архитектуру DWH;
• анализировать и выбирать оптимальные технологии, инструменты и методологии;
• создавать и актуализировать базу знаний для пользователей хранилища данных;
• сопровождать и мониторить информационные системы в своей зоне ответственности.

🧩 Что важно:

• знание принципов построения хранилищ данных и архитектуры DWH;

• понимание принципов работы MPP-систем;

• практический опыт работы с экосистемой Hadoop:

  HDFS; / YARN; / Apache Spark; / Apache Kafka; / Apache NiFi; / Sqoop; / Flume;

• уверенное знание SQL, включая DDL и DML;

• опыт анализа и оптимизации сложных SQL-запросов;

• опыт разработки на PL/pgSQL;

• практический опыт работы с Greenplum или отличное знание PostgreSQL;

• опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter;

• понимание процессов проектирования потоков, преобразования и загрузки данных;

• опыт сопровождения и мониторинга информационных систем;

• навыки ведения проектной и технической документации;

• опыт работы с Git, Jira и Confluence.

⭐ Будет преимуществом:

• опыт проектирования высоконагруженных хранилищ данных;
• опыт масштабирования MPP- и Hadoop-систем;
• участие в проектах по развитию крупных корпоративных DWH;
• опыт построения сложных ETL/ELT-процессов и витрин данных.