SENIOR DATA ENGINEER (MICROSOFT FABRIC)

Местоположение: Удаленно (Часовой пояс: Великобритания / CET) Зарплата: $5,000 – $9,000 (брутто) Клиент: BAT (British American Tobacco) — мировой лидер в сфере FMCG. Важно: Кандидаты из России и Беларуси не рассматриваются.

О проекте: Мы создаем современное хранилище данных и Lakehouse на Microsoft Fabric с нуля. Вы будете работать с терабайтами данных, мигрируя с устаревших ETL-процессов на передовую архитектуру Medallion (Bronze/Silver/Gold). Разработка полного цикла: от настройки инфраструктуры до CI/CD.

Технологический стек: Основное: Microsoft Fabric (OneLake, Data Factory, Synapse). Обработка: Apache Spark (PySpark), Dataflow Gen2. Языки: Python, SQL (T-SQL). Хранение: Delta Lake (Parquet), Lakehouse / Data Warehouse. DevOps: Git, Azure DevOps / GitHub Actions, Docker. Визуализация (Желательно): Power BI.

Ключевые обязанности:

• Проектирование и создание DWH-архитектуры end-to-end с нуля (уровни Medallion).
• Разработка надежных ETL/ELT-конвейеров с использованием ADF и Dataflow Gen2.
• Написание и оптимизация высокопроизводительного кода PySpark для крупномасштабной трансформации данных.
• Оптимизация T-SQL запросов в Synapse Data Warehouse.
• Настройка Fabric Shortcuts для интеграции с AWS S3 / GCP.
• Внедрение процессов CI/CD для развертывания инфраструктуры и кода.

Требования:

• 5+ лет коммерческого опыта в Data Engineering.
• Глубокие знания Microsoft Azure и экосистемы Fabric.
• Значительный опыт работы с Apache Spark (PySpark).
• Уверенное понимание паттернов Lakehouse и Data Warehousing.
• Практический опыт работы с CI/CD (Azure DevOps / GitHub Actions).
• Английский язык: Upper-Intermediate+ (ежедневное общение с международной командой).

Что мы предлагаем:

• Полностью удаленная работа.
• Международная кросс-функциональная командная среда.
• Современный технологический стек с возможностью влиять на архитектурные решения.