Разрабатывать, создавать и оптимизировать масштабируемые решения для данных AWS с использованием Databricks, включая архитектуры Lakehouse с Delta Lake и Unity Catalog.
Разрабатывать пакетную и потоковую обработку данных с использованием Apache Spark, Flink, Kafka, Amazon MSK и Kinesis.
Руководить интеграцией и миграцией данных (сопоставление источник-цель, приём, трансформация и обеспечение качества данных).
Разрабатывать архитектуру платформы данных, моделирование данных и лучшие практики инжиниринга для масштабируемости, надежности и долгосрочной поддерживаемости.
Создавать и управлять автоматизированными рабочими процессами и конвейерами данных с использованием Databricks Workflows, Apache Airflow, MWAA, Snowflake и Amazon Redshift.
Менторить команды инженерии данных и преобразовывать бизнес-требования в технические решения, дорожные карты и планы реализации.

Подтвержденный опыт работы ведущим инженером данных, отвечающим за масштабируемые платформы и конвейеры данных.
Практический опыт пакетной и потоковой обработки с использованием Apache Spark, Flink, Kafka, Amazon MSK или Kinesis.
Значительный опыт работы с AWS и Databricks, включая Delta Lake, Unity Catalog, Workflows и Jobs.
Продвинутый SQL плюс знание Python (предпочтительно), Scala или Java.
Опыт оркестровки рабочих процессов данных с использованием Databricks Workflows, Apache Airflow или MWAA.
Английский язык на уровне Upper-intermediate или выше.

Удалённая/офисная модель работы.
Совместная, ориентированная на инновации среда на протяжении всего жизненного цикла решения.
Возможность изучать новые технологии и делиться знаниями в инженерном сообществе.
Руководящая роль с менторством и развитием команды.

ПОДАТЬ ЗАЯВКУ

Похожие вакансии

Lead Big Data Engineer (Databricks + AWS)