Инженер данных (Databricks)

Мы нанимаем! Присоединяйтесь к ItexUS уже сегодня!

Мы ищем Старшего инженера данных, который присоединится к нашей команде и внесет вклад в разработку и развитие современных платформ данных и решений для хранилищ данных в облачных средах.

В этой роли вы будете работать над созданием и оптимизацией конвейеров данных, интеграцией нескольких источников данных и проектированием масштабируемых архитектур для хранения и обработки данных, используемых аналитическими и AI-системами.

О проектах: У вас будет возможность поработать над несколькими проектами, ориентированными на данные, в разных доменах. Один из них сосредоточен на создании платформы Data-as-a-Service для глобальной перестраховочной компании, предназначенной для оценки и проверки данных для случаев использования AI, обеспечивая высококачественные наборы данных для обучения моделей и аналитики. Другой проект относится к области наук о жизни, поддерживает миграцию корпоративных платформ данных с унаследованных систем на современную облачную архитектуру (Azure + Databricks), включая перепроектирование моделей данных, конвейеров и процессов документирования.

Локация: Польша

Обязанности:

• Проектирование, разработка и поддержка масштабируемых конвейеров данных.
• Интеграция данных из различных внутренних и внешних источников.
• Проектирование и развитие архитектуры платформы данных и решений для хранения данных.
• Оптимизация производительности и надежности обработки данных.
• Работа с крупномасштабными наборами данных (Big Data).
• Поддержка команд аналитики и машинного обучения надежной инфраструктурой данных.
• Разработка и поддержка моделей данных для аналитических систем.
• Участие в обсуждениях архитектуры и принятии технических решений.

Требования:

• 5+ лет опыта в инженерии данных.
• Практический опыт работы с Databricks.
• Уверенное владение Python для обработки данных.
• Отличные навыки SQL.
• Опыт работы со Spark / PySpark.
• Опыт создания ETL / ELT конвейеров.
• Опыт работы с облачными платформами (Azure, AWS или GCP).
• Понимание архитектур Data Lake и Data Warehouse.
• Опыт работы с Git и практиками CI/CD.
• Опыт работы в Agile / Scrum командах.
• Аналитическое мышление и способность работать со сложными системами данных.
• Уровень английского языка B2+ (уверенное общение с техническими и нетехническими командами).

Будет плюсом:

Опыт работы с Azure Data Factory. / Практическая работа со Snowflake. / Знание dbt. / Опыт работы с Airflow. / Понимание моделирования Data Vault. / Умение строить стриминговые конвейеры. / Опыт работы с Unity Catalog. / Опыт работы с Power BI. / Немецкий язык (B1–B2).

Свяжитесь со мной для получения более подробной информации

Мария Карсеко, специалист по персоналу