Data Engineer

Задачи

• Анализ существующих решений и витрин данных
• Миграция витрин данных со стека Hadoop на стек Apache Iceberg + Spark 3.5 + Apache Airflow
• Реализация недостающих реплик для витрин данных
• Переработка существующих решений на целевом стеке
• Построение и развитие витрин данных, участие в тестировании
• Наполнение и актуализация технической документации

Мы ожидаем

• Уверенные знания SQL и Python
• Опыт работы с Apache Spark
• Практический опыт работы с хранилищами данных на базе Hadoop / S3
• Знание и опыт работы с Apache Iceberg
• Опыт использования Apache Airflow
• Понимание форматов хранения данных, в том числе Parquet
• Опыт работы с Git, CI/CD, Jira, Confluence
• Базовые знания Kafka

Мы предлагаем

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании
• Расширенный полис ДМС со стоматологией
• Удаленную работу и гибкий график
• Обучение, сертификацию, клуб английского языка
• Геймифицированную программу лояльности