Strong Middle Data Engineer

Title: Strong Middle Data Engineer Location: Warsaw / pl / Remote

• Разработка и поддержка масштабируемых, надежных платформ и конвейеров данных для аналитики и операций

• Реализация рабочих процессов обработки данных с использованием распределенных фреймворков (Apache Spark/pySpark, Databricks)

• Развитие облачной платформы данных организации с использованием технологий Azure (Data Factory, Synapse, Event Hub, Azure Data Lake Storage)

• Моделирование данных для поддержки аналитики, отчетности и последующего использования

• Интеграция и обработка данных из нескольких источников, обеспечение качества и согласованности

• Мониторинг и оптимизация производительности конвейеров, обеспечение надежности и масштабируемости

• Сотрудничество с аналитиками, специалистами по данным и инженерами для преобразования требований в решения

• Улучшение стандартов инжиниринга данных, тестирования и операционной надежности

• Оценка и внедрение новых инструментов и технологий в экосистеме инжиниринга данных

• 4+ года практического опыта в области инжиниринга данных или создания платформ обработки данных

• Отличные навыки SQL и солидный опыт работы с Python для разработки конвейеров

• Опыт работы с распределенными фреймворками обработки (предпочтительно Apache Spark/pySpark, Databricks)

• Практический опыт проектирования и внедрения конвейеров в облачных средах (предпочтительно Azure)

• Опыт работы с аналитическими системами производственного масштаба и моделированием данных

• Понимание принципов ETL/ELT, размерностного моделирования и хранилищ данных

• Опыт работы с современными архитектурами озер данных и форматами (Parquet, JSON)

• Знакомство с инструментами оркестрации рабочих процессов (Airflow)

• Опыт разработки и оптимизации баз данных

• Способность разрабатывать масштабируемые решения с минимальным надзором

• Сильные навыки сотрудничества и коммуникации

• Профессиональное владение английским языком

Увлечены созданием масштабируемых, высокопроизводительных решений для работы с данными? Мы ищем Data Engineer, который присоединится к нашей команде и поможет в проектировании и разработке надежных платформ данных, лежащих в основе аналитики, отчетности и принятия решений на основе данных.

Почему стоит присоединиться к нам? Вы будете работать над сложными проектами, сотрудничать с талантливыми экспертами и иметь доступ к возможностям профессионального роста, поддерживающей среде и конкурентным преимуществам.