Data Engineer/ Data Analyst (on-site)

Chez Sword Technologies, мы сопровождаем наших клиентов в их проектах цифровой трансформации, участвуя в проектах с высокой добавленной стоимостью в сложных условиях. Мы уделяем особое внимание качеству предлагаемых задач, а также поддержке наших сотрудников в их развитии. В рамках нашего развития мы ищем специалистов для усиления наших команд. Мы ищем универсального специалиста Data Engineer / Data Analyst, способного проектировать, поддерживать и оптимизировать решения для данных в существующей среде Microsoft Azure, а также ежедневно поддерживать аналитические команды. Миссия: Интегрированный в команду Data & Analytics, опирающуюся на экосистему Microsoft Azure, вы будете работать как универсальный специалист по Data Engineering с хорошей аналитической подготовкой. Ваша роль будет прежде всего операционной: проектирование, разработка и поддержка конвейеров данных с помощью Azure Data Factory, разработка процессов обработки и преобразования данных с помощью Databricks и управление структурами хранения в Azure Data Lake Storage Gen2. Вы будете создавать и развивать надежные процессы ETL / ELT, работая с такими форматами, как Delta Lake и Parquet, и интегрируя данные из различных внутренних и внешних источников. Помимо разработки, вы будете отвечать за диагностику и решение проблем, связанных с конвейерами, хранением и обработкой данных. Вы будете контролировать и оптимизировать существующие конвейеры, внедрять соответствующие меры контроля качества данных и участвовать в деятельности по моделированию данных. Вы будете разрабатывать свои преобразования в основном на SQL, Python и/или PySpark, соблюдая лучшие практики архитектуры Lakehouse. Вы будете тесно сотрудничать с техническими командами, а также с представителями бизнеса, предоставляя прагматичную поддержку Data Analysts и разработчикам Power BI в их потребностях в данных. Ожидаемый профиль — это полностью практический, автономный и адаптируемый специалист: человек, способный перемещаться между Data Engineering, анализом данных и технической поддержкой в зависимости от приоритетов команды, а не специалист, ограниченный чисто архитектурным периметром. Техническая среда: Must have:

• Опыт работы с Databricks
• Опыт работы с Azure Data Factory (ADF)
• Опыт работы с Azure Data Lake Storage Gen2 (ADLS Gen2), включая механизмы безопасности и управления доступом
• Очень хорошие навыки SQL
• Хорошее знание Python и/или PySpark
• Знание концепций ETL / ELT и подтвержденный опыт проектирования, разработки и поддержки конвейеров данных
• Опыт работы с Delta Lake и форматом Parquet
• Хорошее понимание архитектур Data Lake / Lakehouse
• Хорошее понимание моделирования данных, а также аналитических потребностей и потребностей BI
• Опыт интеграции различных источников данных и основных шаблонов интеграции
• Способность самостоятельно диагностировать проблемы, связанные с данными, хранением и конвейерами
• Свободное владение французским и английским языками (устно и письменно) Nice to have:
• Опыт работы с Power BI и Power BI Semantic Models
• Практики CI/CD, применяемые к Data Engineering
• Знание практик качества данных (Data Quality) и основ управления данными (Data Governance)
• Опыт работы с Azure DevOps
• Опыт работы в корпоративных средах Azure в больших масштабах
• Знание немецкого языка