Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
SSigma Software
Варшава, Польша14 дней назад
Грейд
Middle
Опыт работы
от 2 лет
Формат работы
Удалённо
Уровень английского
B1, средний
Письмо на почту или сообщение рекрутеру в Telegram
Мы ищем Middle Data Engineer, который присоединится к нашей команде и будет участвовать в создании масштабируемых решений по обработке данных для ведущей компании в сфере AdTech и аналитики. На этой должности вы будете работать с современной архитектурой Data Lakehouse, распределенными системами с высокой нагрузкой и облачными технологиями, помогая обрабатывать большие объемы маркетинговых и рекламных данных в пакетном режиме и в режиме, близком к реальному времени. Это отличная возможность для инженеров, которые хотят углубить свои знания в Databricks, PySpark, Delta Lake и масштабируемых платформах данных, сотрудничая с опытными специалистами по обработке данных над решениями корпоративного масштаба. О Sigma Software: Sigma Software — это глобальная IT-консалтинговая компания, предоставляющая услуги по разработке программного обеспечения и IT-консалтингу клиентам по всему миру в различных отраслях. ЗАКАЗЧИК Наш клиент — ведущая компания в сфере AdTech и анализа данных, специализирующаяся на высоконагруженных платформах для обработки и анализа больших данных. Компания разрабатывает облачные решения, которые помогают бизнесу управлять данными, создавать аналитические модели и генерировать действенные идеи для маркетинговых и рекламных операций. Клиент работает на глобальном уровне и фокусируется на масштабируемой архитектуре микросервисов, современных инженерных практиках и аналитических платформах корпоративного уровня. ПРОЕКТ Проект посвящен разработке и поддержке масштабируемых решений Data Lakehouse для обработки больших объемов маркетинговых и рекламных данных. Команда работает с пакетными конвейерами данных и конвейерами данных, близкими к реальному времени, облачной инфраструктурой и современными технологиями Big Data.
Разрабатывайте и поддерживайте конвейеры данных для обработки больших объемов данных в пакетном режиме и в режиме, близком к реальному времени. Работайте с Databricks, PySpark и SQL для преобразования, проверки и оптимизации данных. Поддерживайте внедрение решений Data Lakehouse в соответствии со стандартами проектирования и лучшими практиками. Создавайте, тестируйте и автоматизируйте ETL-процессы и рабочие процессы обработки данных. Улучшайте качество, организацию и надежность данных на всех платформах. Сотрудничайте с инженерами, аналитиками и заинтересованными сторонами для предоставления масштабируемых решений. Устраняйте неполадки, оптимизируйте и отслеживайте конвейеры данных. Будьте в курсе современных технологий обработки данных. Убедитесь, что результаты соответствуют стандартам качества и требованиям проекта.
Опыт работы в области разработки Big Data и проектирования баз данных от 2 лет. Глубокие практические знания SQL. Сильные навыки разработки на Python. Практический опыт работы с PySpark. Опыт разработки и поддержки конвейеров данных в Databricks. Опыт работы с Delta Lake. Опыт работы с Medallion Architecture (слои Bronze, Silver, Gold). Сильные аналитические навыки и навыки решения проблем. Английский язык на уровне Intermediate или выше. Ключевые технологии: Databricks, PySpark, Python, SQL, Delta Lake, Medallion Architecture, ETL Pipelines, AWS S3
Опыт работы с сервисами AWS, включая S3.
Develop and maintain data pipelines for processing large volumes of data in batch and near real-time environments Work with Databricks, PySpark, and SQL to transform, validate, and optimize data Support implementation of Data Lakehouse solutions following engineering standards and best practices Build, test, and automate ETL processes and data workflows Improve data quality, organization, and reliability across platforms Collaborate with engineers, analysts, and stakeholders to deliver scalable solutions Troubleshoot, optimize, and monitor data pipelines Stay up to date with modern data engineering technologies Ensure deliverables meet quality standards and project requirements
2+ years of experience in Big Data development and database design Strong hands-on experience with SQL Strong Python development skills Hands-on experience with PySpark Experience developing and maintaining data pipelines in Databricks Experience with Delta Lake Experience with Medallion Architecture (Bronze, Silver, Gold layers) Strong analytical and problem-solving skills Intermediate or higher English level WILL BE A PLUS Experience with AWS services, including S3
We are looking for a Middle Data Engineer to join our team and contribute to building scalable data solutions for a leading AdTech and analytics company. In this role, you will work with modern Data Lakehouse architecture, high-load distributed systems, and cloud-native technologies while helping process large volumes of marketing and advertising data in batch and near real-time environments. This is an excellent opportunity for engineers who want to deepen their expertise in Databricks, PySpark, Delta Lake, and scalable data platforms while collaborating with experienced data engineering professionals on enterprise-scale solutions. About Sigma Software: Sigma Software is a global IT consulting company delivering software development and IT consulting services to clients worldwide across multiple industries. CUSTOMER Our customer is a leading AdTech and data analytics company specializing in high-load platforms for large-scale data processing and analytics. The company develops cloud-based solutions that help businesses manage data, build analytical models, and generate actionable insights for marketing and advertising operations. The customer operates globally and focuses on scalable microservices architecture, modern engineering practices, and enterprise-grade analytics platforms. PROJECT The project focuses on developing and supporting scalable Data Lakehouse solutions for processing large volumes of marketing and advertising data. The team works with batch and near real-time data pipelines, cloud-native infrastructure, and modern big data technologies. Key Technologies: Databricks, PySpark, Python, SQL, Delta Lake, Medallion Architecture, ETL Pipelines, AWS S3
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 16 300 до 21 400