Ищем в PlaysDev Data Engineer для развития платформы данных: оптимизация процессов, внедрение стандартов и развитие архитектуры.

Задачи ❗️

• Развитие и доработка функционала Data Platform

• Проработка и реализация новых подходов к разработке пайплайнов

• Оптимизация процессов загрузки и обработки данных

• Проектирование сложных интеграций и потоков данных

• Формирование и развитие стандартов разработки (логирование, структура DAG, подходы к разработке)

• Контроль качества реализации пайплайнов

• Ведение и развитие технической документации

• Обучение и менторинг команды

• Участие в архитектурных решениях

Требования ❗️

• Экспертный SQL

• Продвинутый Python

• Глубокий опыт работы с Apache Airflow

• Опыт работы с MPP СУБД (Greenplum или аналогами)

• Опыт проектирования ETL/ELT процессов

• Понимание архитектуры Data Platform / DWH

• Опыт оптимизации производительности систем

• Понимание Data Governance и Data Quality