Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
MMARGO
Варшава, Польша6 дней назад
180 – 200 PLN
в час
Грейд
Senior
Формат работы
Удалённо, Офис
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Мы ищем старшего инженера по данным (Senior Data Engineer), который поможет в развитии нашей платформы данных на базе Azure и архитектуры Lakehouse.
Эта роль сосредоточена на разработке продуктов данных. Успешный кандидат будет создавать конвейеры в ADF, DAGs в Airflow и тесно сотрудничать с PO для уточнения бизнес-требований и преобразования бизнес-потребностей в надежные продукты данных в Databricks.
Практическая разработка продуктов данных Реализация масштабируемых, надежных и повторно используемых конвейеров данных с использованием Azure Data Factory и Apache Airflow. Разработка преобразований данных в Azure Databricks (PySpark / SQL) для создания/расширения продуктов данных в соответствии со слоями архитектуры Medallion: Bronze (сырая загрузка) Silver (очищенные и согласованные) Gold (готовые для бизнеса продукты данных) Оптимизация производительности, стоимости и надежности рабочих нагрузок данных. Задавайте важные вопросы во время созревания бизнеса, чтобы выявить риски до этапа разработки. Техническое руководство Участвуйте в обзорах архитектуры и принятии технических решений. Продвигайте инженерное совершенство посредством обзоров кода и дизайна. Сотрудничайте с архитекторами, владельцами продуктов в техническом совершенствовании продуктов данных. Поддержка и операции (сотрудничество с командой Run Team) Оказывайте поддержку команде Run/Operations для производственных конвейеров и продуктов данных по сложным вопросам. Устраняйте и решайте проблемы с данными, сбои и проблемы с производительностью. Участвуйте в управлении инцидентами, анализе первопричин и пост-мортемах. Обеспечьте надлежащую передачу, документацию и оперативную готовность разработанных решений. Вносите вклад в улучшение руководств по эксплуатации, мониторинга и операционных процессов.
Compensation: 180 – 200 PLN per hour We are looking for a Senior Data Engineer to help drive the evolution of our Azure-based Data Platform and Lakehouse architecture.
This role is focused on Data Products development. The successful candidate will build pipelines in ADF, DAGs in Airflow and work closely with POs to refine business requirements and transform business needs into reliable Data Products in Databricks. Key Responsibilites Hands-on Data Product development Implement scalable, reliable and reusable data pipelines using Azure Data Factory and Apache Airflow. Develop data transformations in Azure Databricks (PySpark / SQL) to create/extend data products following the Medallion Architecture layers: Bronze (raw ingestion) Silver (cleansed & conformed) Gold (business-ready data products) Optimize performance, cost, and reliability of data workloads. Raise important questions during business maturation in order to detect risks before development stage. Technical Leadership Participate in architecture reviews and technical decision-making. Promote engineering excellence through code reviews and design reviews. Collaborate with Architects, Product Owners in data product technical maturation. Support & Operations (Run Team Collaboration) Provide support to the Run/Operations team for production pipelines and data products for complex topics. Troubleshoot and resolve data incidents, failures, and performance issues Participate in incident management, root cause analysis, and post-mortems. Ensure proper handover, documentation, and operational readiness of developed solutions. Contribute to improving runbooks, monitoring, and operational processes.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 21 800 до 29 600
Вознаграждение: 180 – 200 польских злотых в час