Детали

Грейд

Lead

Опыт работы

6-10 лет

Уровень английского

B2, выше среднего

Сопроводительное письмо к вакансии

Письмо на почту или сообщение рекрутеру в Telegram

О вакансии

Обзор роли: Мы ищем опытного Azure Data Engineer с опытом работы более 5 лет в проектировании, разработке и поддержке современных конвейеров данных и решений по интеграции данных с использованием служб Azure. Идеальный кандидат должен обладать глубокими знаниями Azure Data Factory (ADF), Azure Databricks, Azure Synapse и Azure Data Lake Storage (ADLS). Вы будете тесно сотрудничать с бизнес-аналитиками, архитекторами и специалистами по данным для предоставления надежных и масштабируемых решений в области данных, которые используются на платформах аналитики и бизнес-аналитики.

UST — это глобальный поставщик решений в области цифровой трансформации. Более 20 лет UST работает бок о бок с лучшими компаниями мира, добиваясь реальных результатов посредством трансформации. Опираясь на технологии, вдохновляясь людьми и руководствуясь целью, UST сотрудничает со своими клиентами от проектирования до эксплуатации. Обладая глубокой отраслевой экспертизой и философией, ориентированной на будущее, UST внедряет инновации и гибкость в организации своих клиентов. Имея более 30 000 сотрудников в 30 странах, UST создает безграничные возможности, влияя на жизнь миллиардов людей.

Задачи

Прием и интеграция данных

Проектирование, создание и поддержка конвейеров данных с использованием Azure Data Factory для пакетного и инкрементального приема данных
Подключение к различным источникам данных (SQL Server, REST API, CSV, JSON, SAP и т. д.) и интеграция в экосистему Azure
Разработка управляемых метаданными и параметризованных конвейеров для повышения повторного использования
Реализация фреймворков для проверки данных, обработки ошибок и ведения журналов в ADF

Трансформация и обработка данных

Использование Azure Databricks (PySpark) для очистки, трансформации и обогащения данных
Оптимизация заданий Spark для повышения производительности и экономической эффективности
Реализация рабочих процессов ETL/ELT с использованием Delta Lake и архитектуры Medallion (Bronze, Silver, Gold)

Хранение и моделирование данных

Работа с Azure Data Lake Storage Gen2 для зон необработанных и обработанных данных
Разработка моделей данных в Azure Synapse Analytics / SQL Server для отчетности и аналитики
Реализация стратегий секционирования, индексирования и оптимизации производительности

Развертывание и DevOps

Реализация конвейеров CI/CD с использованием Azure DevOps или GitHub Actions для рабочих процессов обработки данных
Сотрудничество с архитекторами для автоматизации развертываний и управления версиями с использованием Git

Безопасность и управление

Управление доступом к данным с использованием Azure RBAC, Managed Identities и Key Vault
Обеспечение безопасности данных, соответствия требованиям и конфиденциальности в соответствии со стандартами организации

Сотрудничество

Работа с аналитиками данных, BI-разработчиками и бизнес-пользователями для определения требований к данным
Участие в проверке кода и соблюдение лучших практик в области инжиниринга данных
Проектирование и реализация сквозного приема данных из локального SQL Server в Azure Data Lake с использованием ADF
Создание блокнотов Databricks для очистки и трансформации данных с использованием PySpark
Реализация таблиц Delta Lake и загрузка обработанных данных в Synapse для отчетности
Сотрудничество с BI-командами для публикации панелей мониторинга Power BI поверх наборов данных Synapse

Требования

6 - 10 лет
Службы Azure: Azure Data Factory, Azure Databricks, Azure Synapse, ADLS Gen2, Azure SQL Database
Программирование: Python (PySpark), SQL, Spark SQL
Моделирование данных: Star/Snowflake schema, Dimensional modeling
Исходные системы: SQL Server, Oracle, SAP, Flat Files (CSV, JSON, XML), REST API
Контроль версий и CI/CD: Git, Azure DevOps
Планирование и мониторинг: ADF triggers, Databricks jobs, Log Analytics
Безопасность: Managed Identity, Key Vault, Access Control

Гибкие навыки (Soft Skills):

Сильные аналитические способности и навыки решения проблем
Хорошие коммуникативные навыки и навыки сотрудничества
Способность работать в гибких/scrum-средах
Самостоятельность и инициативность в выявлении улучшений процессов

Образование: Степень бакалавра в области компьютерных наук, информационных технологий или смежной области. Сертификация Azure Data Engineer Associate (DP-203) предпочтительна.

Навыки

Apache Spark, Data Engineering, Python, SQL, ETL, PySpark

Будет плюсом

Основы Power BI, опыт работы с DataBricks Delta Live Tables или Synapse Pipelines

Опыт обработки данных в реальном времени (Event Hub / Stream Analytics)
Знание инфраструктуры как кода (IaC) с использованием Terraform или ARM-шаблонов
Знакомство с инструментами качества данных и каталогами данных (Purview)

Условия

Пуна

6 - 10 Years
2 Openings
Pune

Role description

Role Overview: We are seeking a skilled Azure Data Engineer with 5+ years of experience in designing, developing, and maintaining modern data pipelines and data integration solutions using Azure services. The ideal candidate should have strong expertise in Azure Data Factory (ADF), Azure Databricks, Azure Synapse, and Azure Data Lake Storage (ADLS). You will work closely with business analysts, architects, and data scientists to deliver reliable and scalable data solutions that power analytics and business intelligence platforms.

Key Responsibilities:

Data Ingestion & Integration

Design, build, and maintain data pipelines using Azure Data Factory for batch and incremental data ingestion.
Connect to various data sources (SQL Server, REST APIs, CSV, JSON, SAP, etc.) and integrate into the Azure ecosystem.
Develop metadata-driven and parameterized pipelines to improve reusability.
Implement data validation, error handling, and logging frameworks in ADF.

Data Transformation & Processing

Use Azure Databricks (PySpark) for data cleansing, transformation, and enrichment.
Optimize Spark jobs for performance and cost efficiency.
Implement ETL/ELT workflows with Delta Lake and Medallion (Bronze, Silver, Gold) architecture.

Data Storage & Modeling

Work with Azure Data Lake Storage Gen2 for raw and curated data zones.
Develop data models in Azure Synapse Analytics / SQL Server for reporting and analytics.
Implement partitioning, indexing, and performance tuning strategies.

Deployment & DevOps

Implement CI/CD pipelines using Azure DevOps or GitHub Actions for data workflows.
Collaborate with architects to automate deployments and version control using Git.

Security & Governance

Manage data access using Azure RBAC, Managed Identities, and Key Vault.
Ensure data security, compliance, and privacy as per organizational standards.

Collaboration

Work with data analysts, BI developers, and business users to define data requirements.
Participate in code reviews and adhere to best practices in data engineering.

Technical Skills Required:

Azure Services: Azure Data Factory, Azure Databricks, Azure Synapse, ADLS Gen2, Azure SQL Database
Programming: Python (PySpark), SQL, Spark SQL
Data Modeling: Star/Snowflake schema, Dimensional modeling
Source Systems: SQL Server, Oracle, SAP, Flat Files (CSV, JSON, XML), REST APIs
Version Control & CI/CD: Git, Azure DevOps
Scheduling & Monitoring: ADF triggers, Databricks jobs, Log Analytics
Security: Managed Identity, Key Vault, Access Control

Preferred: Power BI basics, exposure to DataBricks Delta Live Tables or Synapse Pipelines

Soft Skills:

Strong analytical and problem-solving skills.
Good communication and collaboration abilities.
Ability to work in agile/scrum environments.
Self-driven and proactive in identifying process improvements.

Educational Qualifications: Bachelor s degree in Computer Science, Information Technology, or a related field. Azure Data Engineer Associate (DP-203) certification preferred.

Example Project Responsibilities:

Design and implement end-to-end data ingestion from on-prem SQL Server to Azure Data Lake using ADF.
Build Databricks notebooks for data cleansing and transformations using PySpark.
Implement Delta Lake tables and load curated data into Synapse for reporting.
Collaborate with BI teams to publish Power BI dashboards on top of Synapse datasets.

Optional (Good to Have):

Experience with Real-time data processing (Event Hub / Stream Analytics).
Knowledge of Infrastructure as Code (IaC) using Terraform or ARM templates.
Familiarity with data quality and data catalog tools (Purview).

Skills

Apache Spark, Data Engineering, Python, SQL, ETL, PySpark

About UST

UST is a global digital transformation solutions provider. For more than 20 years, UST has worked side by side with the world’s best companies to make a real impact through transformation. Powered by technology, inspired by people and led by purpose, UST partners with their clients from design to operation. With deep domain expertise and a future-proof philosophy, UST embeds innovation and agility into their clients’ organizations. With over 30,000 employees in 30 countries, UST builds for boundless impact—touching billions of lives in the process.

Подходит ли тебе эта вакансия?

Сравним навыки, грейд, формат работы и зарплату

Ключевые навыки

Azure Data Factory
Databricks
Azure Synapse Analytics
Azure Data Lake
Azure SQL
Python
Spark
SQL
Delta Lake
ETL
Git
Azure DevOps
GitHub Actions
SQL Server
Oracle
SAP
REST API
Power BI
Terraform
Azure Key Vault
Azure RBAC
Log Analytics
Dimensional Modeling

Оценка зарплаты

1 760 000INRв год

Чаще всего от 1 370 000 до 2 850 000