Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
SSigma Software
Варшава, Польша14 дней назад
Грейд
Middle
Опыт работы
от 3 лет
Формат работы
Удалённо
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
• Design, develop, and maintain scalable and reliable data platforms and pipelines for analytics and operational use cases • Build distributed data processing workflows using Apache Spark, pySpark, and Databricks • Develop and evolve cloud-native data solutions leveraging Azure and AWS services • Model and optimize data structures for analytics, reporting, and downstream consumption • Integrate data from multiple heterogeneous sources while ensuring data quality, consistency, and traceability • Implement data quality controls, schema validation, lineage tracking, and monitoring processes • Optimize performance, scalability, reliability, and cost-efficiency of data pipelines and infrastructure • Collaborate closely with scientists, analysts, and engineering teams to translate business and research requirements into technical solutions • Contribute to CI/CD processes, infrastructure automation, and engineering best practices • Research and introduce new technologies and approaches within the data engineering ecosystem
• 3+ years of commercial experience in Data Engineering • 2+ years of hands-on production experience with Databricks • Strong expertise with Delta Lake, including medallion architecture and table optimization • Advanced proficiency in Python, pySpark, and SQL • Deep practical knowledge of Databricks components including Unity Catalog, Lakeflow Jobs / Workflows, and job optimization • Hands-on experience with AWS services including S3, IAM, KMS, and at least one of AWS Batch, ECR, EventBridge, Lambda, or API Gateway • Experience designing event-driven and asynchronous data pipelines • Strong knowledge of Infrastructure as Code and CI/CD practices • Practical experience with Terraform and Databricks Asset Bundles • Experience working with Git workflows, pull request reviews, and automated testing • Understanding of secure authentication approaches such as OIDC and service principals • Practical experience with MLflow, experiment tracking, model registry, and reproducibility practices • Strong understanding of data quality, lineage, schema contracts, and provenance concepts • Experience with data quality frameworks such as Great Expectations, Soda, pyDeequ, or Databricks DQX • Experience monitoring and optimizing data platform reliability and cloud costs • Upper-Intermediate or higher English level WILL BE A PLUS: • Experience packaging workloads using Docker and running batch workloads in AWS • Familiarity with ECR and containerized data processing solutions • Experience with experiment optimization libraries such as scikit-optimize, BoTorch, Ax, or scipy • Understanding of ML feature engineering and leakage prevention techniques • Experience working in regulated or high-security environments • Knowledge of data governance, compliance, and data residency requirements • Experience disabling or restricting AI-assisted tooling/features in secure environments
Join a project shaping the future of sustainable energy through cutting-edge data engineering and scientific innovation. We are looking for a Data Engineer to help build scalable cloud-native data platforms for a deep-tech Customer working on one of the most ambitious fusion energy initiatives in the world. You will work with modern distributed data technologies, including Databricks, Apache Spark, AWS, and Azure, while solving complex engineering challenges in a research-intensive environment. We at Sigma Software value engineering excellence, long-term partnerships, and continuous learning. This is an opportunity to contribute to breakthrough scientific initiatives while working with modern technologies and highly skilled global teams. PROJECT The project focuses on building and evolving a modern cloud-based data platform supporting scientific research, analytics, and operational workflows in the fusion energy domain. The team develops scalable distributed data processing solutions while ensuring high standards of data quality, lineage, governance, reproducibility, and operational reliability. You will work closely with scientists and engineers to support experimentation, analytics, and machine learning workflows in a highly innovative R&D environment.
Сравним навыки, грейд, формат работы и зарплату
Присоединяйтесь к проекту, формирующему будущее устойчивой энергетики с помощью передовых технологий инжиниринга данных и научных инноваций. Мы ищем инженера данных, который поможет создать масштабируемые облачные нативные платформы данных для глубокотехнологичного клиента, работающего над одной из самых амбициозных инициатив в области термоядерной энергии в мире. Вы будете работать с современными распределенными технологиями обработки данных, включая Databricks, Apache Spark, AWS и Azure, решая сложные инженерные задачи в среде с интенсивными исследованиями. В Sigma Software мы ценим инженерное совершенство, долгосрочное партнерство и непрерывное обучение. Это возможность внести свой вклад в прорывные научные инициативы, работая с современными технологиями и высококвалифицированными глобальными командами. ПРОЕКТ Проект посвящен созданию и развитию современной облачной платформы данных, поддерживающей научные исследования, аналитику и операционные рабочие процессы в области термоядерной энергетики. Команда разрабатывает масштабируемые распределенные решения для обработки данных, обеспечивая высокие стандарты качества данных, происхождения данных, управления, воспроизводимости и операционной надежности. Вы будете тесно сотрудничать с учеными и инженерами для поддержки экспериментов, аналитики и рабочих процессов машинного обучения в высокоинновационной R&D среде.
• Проектирование, разработка и поддержка масштабируемых и надежных платформ данных и конвейеров для аналитических и операционных сценариев использования • Создание распределенных рабочих процессов обработки данных с использованием Apache Spark, pySpark и Databricks • Разработка и эволюция облачных нативных решений для работы с данными с использованием служб Azure и AWS • Моделирование и оптимизация структур данных для аналитики, отчетности и последующего использования • Интеграция данных из нескольких гетерогенных источников при обеспечении качества, согласованности и прослеживаемости данных • Внедрение средств контроля качества данных, проверки схем, отслеживания происхождения данных и процессов мониторинга • Оптимизация производительности, масштабируемости, надежности и экономической эффективности конвейеров данных и инфраструктуры • Тесное сотрудничество с учеными, аналитиками и инженерными командами для преобразования бизнес- и исследовательских требований в технические решения • Вклад в процессы CI/CD, автоматизацию инфраструктуры и передовые инженерные практики • Исследование и внедрение новых технологий и подходов в экосистеме инжиниринга данных
• Более 3 лет коммерческого опыта в области инжиниринга данных • Более 2 лет практического опыта работы с Databricks в производственной среде • Глубокие знания Delta Lake, включая архитектуру medallion и оптимизацию таблиц • Продвинутое владение Python, pySpark и SQL • Глубокие практические знания компонентов Databricks, включая Unity Catalog, Lakeflow Jobs / Workflows и оптимизацию заданий • Практический опыт работы со службами AWS, включая S3, IAM, KMS, и хотя бы одной из AWS Batch, ECR, EventBridge, Lambda или API Gateway • Опыт проектирования событийно-ориентированных и асинхронных конвейеров данных • Глубокие знания Infrastructure as Code и практик CI/CD • Практический опыт работы с Terraform и Databricks Asset Bundles • Опыт работы с рабочими процессами Git, обзорами pull request и автоматизированным тестированием • Понимание подходов к безопасной аутентификации, таких как OIDC и service principals • Практический опыт работы с MLflow, отслеживанием экспериментов, реестром моделей и практиками воспроизводимости • Глубокое понимание концепций качества данных, происхождения данных, схем контрактов и provenance • Опыт работы с фреймворками качества данных, такими как Great Expectations, Soda, pyDeequ или Databricks DQX • Опыт мониторинга и оптимизации надежности платформы данных и облачных расходов • Английский язык на уровне Upper-Intermediate или выше
• Опыт упаковки рабочих нагрузок с использованием Docker и запуска пакетных рабочих нагрузок в AWS • Знакомство с ECR и контейнеризированными решениями для обработки данных • Опыт работы с библиотеками оптимизации экспериментов, такими как scikit-optimize, BoTorch, Ax или scipy • Понимание инжиниринга признаков ML и методов предотвращения утечек • Опыт работы в регулируемых средах или средах с высоким уровнем безопасности • Знание требований к управлению данными, соответствию требованиям и месту хранения данных • Опыт отключения или ограничения инструментов/функций с поддержкой ИИ в безопасных средах
Чаще всего от 16 300 до 22 200
Чаще всего от 16 300 до 22 200