Lead Big Data Engineer (Databricks + AWS)

SoftServe предоставляет инженерные и технологические услуги для корпоративных клиентов.

• Совместная, ориентированная на инновации среда на протяжении всего жизненного цикла решения

• Разрабатывать, создавать и оптимизировать масштабируемые решения для данных AWS с использованием Databricks, включая архитектуры Lakehouse с Delta Lake и Unity Catalog
• Разрабатывать пакетную и потоковую обработку данных с использованием Apache Spark, Flink, Kafka, Amazon MSK и Kinesis
• Руководить интеграцией и миграцией данных (сопоставление источник-цель, приём, трансформация и обеспечение качества данных)
• Разрабатывать архитектуру платформы данных, моделирование данных и лучшие практики инжиниринга для масштабируемости, надежности и долгосрочной поддерживаемости
• Создавать и управлять автоматизированными рабочими процессами и конвейерами данных с использованием Databricks Workflows, Apache Airflow, MWAA, Snowflake и Amazon Redshift
• Менторить команды инженерии данных и преобразовывать бизнес-требования в технические решения, дорожные карты и планы реализации

• Подтвержденный опыт работы ведущим инженером данных, отвечающим за масштабируемые платформы и конвейеры данных
• Практический опыт пакетной и потоковой обработки с использованием Apache Spark, Flink, Kafka, Amazon MSK или Kinesis
• Значительный опыт работы с AWS и Databricks, включая Delta Lake, Unity Catalog, Workflows и Jobs
• Продвинутый SQL плюс знание Python (предпочтительно), Scala или Java
• Опыт оркестровки рабочих процессов данных с использованием Databricks Workflows, Apache Airflow или MWAA
• Английский язык на уровне Upper-intermediate или выше

• Удалённая/офисная модель работы
• Возможность изучать новые технологии и делиться знаниями в инженерном сообществе
• Руководящая роль с менторством и развитием команды