Professional Data Engineer

Property Finder — ведущий портал недвижимости в регионе Ближнего Востока и Северной Африки (MENA), призванный формировать инклюзивное будущее для недвижимости, одновременно выступая в авангарде растущей технологической экосистемы региона. В основе его деятельности лежит четкая и мощная цель: изменить жизнь в регионе к лучшему.

Основанная на ценности больших амбиций, Property Finder ежедневно соединяет миллионы искателей недвижимости с тысячами специалистов по недвижимости. Платформа предлагает беспрепятственный и обогащающий опыт, давая покупателям и арендаторам возможность принимать обоснованные решения. С момента своего основания в 2007 году Property Finder стал надежным партнером для застройщиков, брокеров и домоискателей. Как ведущая технологическая компания, она продолжает создавать среду, в которой люди могут преуспевать и вносить значимый вклад в трансформацию недвижимости в MENA.

Обзор должности: Мы ищем профессионального инженера по данным (Professional Data Engineer) для присоединения к нашей динамичной команде, где вы будете играть решающую роль в разработке и поддержке надежных решений для работы с данными.

В качестве профессионального инженера по данным вы будете сотрудничать с командами специалистов по данным (data science), бизнес-аналитики (business analytics) и разработки продуктов (product development), внедряя передовые методы и используя лучшие сторонние продукты.

Команда по работе с данными работает с инженерной точностью, уделяя приоритетное внимание безопасности, конфиденциальности и соблюдению нормативных требований в каждой инициативе.

В качестве профессионального инженера по данным вы будете вносить свой вклад в приверженность команды использованию новейших инструментов и методологий, гарантируя, что наши решения для работы с данными соответствуют лучшим отраслевым практикам.

Наш технологический стек:

• Языки: SQL и Python
• Инструмент оркестрации конвейеров: Dagster (устаревший: Airflow)
• Хранилища данных: Redshift, Clickhouse
• Платформы и сервисы: Docker, Kubernetes
• PaaS: AWS (ECS/EKS, DMS, Kinesis, Glue, Athena, S3 и другие.)
• ETL: FiveTran и DBT для трансформации
• IaC: Terraform (с Terragrunt)
• GenAI: Bedrock, LangChain, LLMs

Ключевые обязанности:

• Разрабатывать и поддерживать ETL-конвейеры с использованием SQL и/или Python.
• Использовать такие инструменты, как Dagster/Airflow, для оркестрации конвейеров.
• Сотрудничать с кросс-функциональными командами для понимания и выполнения требований к данным.
• Обеспечивать постоянный поток высококачественных данных с использованием потоковых, пакетных процессов и процессов захвата изменений данных (CDC).
• Использовать инструменты трансформации данных, такие как DBT, для подготовки наборов данных, позволяющих бизнес-пользователям самостоятельно работать с ними.
• Обеспечивать качество и согласованность данных во всех хранилищах данных.
• Отслеживать и устранять неполадки в конвейерах данных для обеспечения производительности и надежности.

Существенный опыт:

• Более 3 лет опыта работы инженером по данным.
• Владение SQL.
• Опыт работы с современными облачными хранилищами данных, решениями для озер данных, такими как Snowflake, BigQuery, Redshift, Azure Synapse.
• Опыт работы с ETL/ELT, пакетной обработкой, конвейерами обработки потоковых данных.
• Отличная способность исследовать и устранять проблемы с данными, предлагая исправления и решения как краткосрочные, так и долгосрочные.
• Знание сервисов AWS (таких как S3, DMS, Glue, Athena и т. д.).
• Опыт работы с dbt или другими инструментами трансформации данных.
• Знакомство с GenAI и понимание того, как использовать LLM для решения инженерных задач.

Другой желаемый опыт:

• Опыт работы с сервисами и концепциями AWS (такими как EC2, ECS, EKS, VPC, IAM и т. д.).
• Опыт работы с Terraform и Terragrunt.
• Опыт работы с Python.
• Опыт работы с инструментами оркестрации, такими как Dagster, Airflow, AWS Step functions и т. д.
• Опыт работы с фреймворками pub-sub, очередей и потоковой передачи, такими как AWS Kinesis, Kafka, SQS, SNS.
• Опыт работы с конвейерами CI/CD и автоматизацией.

Наше обещание талантам В Property Finder мы верим, что таланты процветают в среде, где вы можете быть лучшей версией себя. Где вы имеете возможность создавать, совершенствовать, расти и заботиться. Наша команда состоит из лучших и самых ярких умов, объединенных общей целью изменить жизнь в регионе к лучшему. Мы привлекаем лучшие таланты, которые хотят оказывать влияние. Мы твердо верим, что когда наши люди растут, мы все преуспеваем.

Руководящие принципы Property Finder

• Думай о будущем в первую очередь
• Данные лучше мнений, скорость лучше совершенства
• Оптимизируй для влияния
• Действуй как владелец
• Самый большой риск — это не рисковать вовсе