Должность: Senior Data Engineer с Databricks (Варшава)
Местоположение: XCEE / Польша
Xebia — это глобальный партнер в области ИИ, цифровой трансформации и инжиниринга. Обладая более чем 25-летним опытом и командой из 5000 профессионалов в 16 странах, мы помогаем организациям разрабатывать и создавать масштабируемые продукты, платформы и решения на основе данных.
Мы специализируемся на искусственном интеллекте, данных и облачных технологиях, интеллектуальной автоматизации и цифровых продуктах, сочетая глубокие технические знания с сильным акцентом на инженерное совершенство и культуру, ориентированную на людей.
В регионе CEE наша команда из почти 1000 экспертов предоставляет современные приложения, платформы данных и решения в области ИИ для таких клиентов, как Millennium, ING, Play, Edenred, Arabian Drilling, FedEx, Leroy Merlin, Truecaller, Volotea, Schmitz Cargobull и многих, многих других. Мы работаем с ведущими технологиями, включая AWS, Azure, GCP, Databricks и Snowflake, и сочетаем сильную инженерную культуру с консультационным подходом и постоянным фокусом на росте и обмене знаниями.
Вы будете:
- Разрабатывать, создавать и поддерживать масштабируемые конвейеры приема и трансформации данных.
- Создавать фреймворки обработки данных на основе метаданных и повторно используемые инженерные компоненты.
- Разрабатывать и поддерживать потоки данных от уровней landing, Bronze и Silver до уровней аналитического потребления.
- Создавать и оптимизировать ETL/ELT процессы, поддерживающие корпоративные продукты данных.
- Реализовывать возможности сверки, валидации данных и автоматизированного тестирования.
- Поддерживать разработку фреймворков поставки продуктов данных и инженерных шаблонов.
- Участвовать в группах поставки, ориентированных на источники и предметные области.
- Взаимодействовать с специалистами по моделированию данных, BI-инженерами, платформенными инженерами, архитекторами и заинтересованными сторонами со стороны клиента.
- Поддерживать миграцию устаревших рабочих нагрузок по обработке данных и аналитических активов.
- Разрабатывать механизмы мониторинга, логирования и операционной поддержки конвейеров данных.
- Вносить вклад в практики разработки на основе CI/CD и инициативы по автоматизации.
- Поддерживать передачу знаний и мероприятия по передаче в инженерные команды клиентов.
- Участвовать в мероприятиях по обеспечению качества данных, устранению неполадок и оптимизации производительности.
Ваш профиль:
Богатый опыт создания конвейеров данных и решений для трансформации.
Практический опыт работы с Databricks.
Сильные навыки SQL и опыт работы с большими наборами данных.
Опыт внедрения ETL/ELT процессов в облачных средах.
Опыт разработки фреймворков интеграции и трансформации данных.
Знакомство с современными концепциями архитектуры данных, включая уровни Bronze, Silver и Gold.
Опыт автоматизированного тестирования, сверки и процессов обеспечения качества данных.
Знание лучших практик разработки программного обеспечения, систем контроля версий и принципов CI/CD.
Способность работать в кросс-функциональных командах.
Сильные аналитические навыки, навыки устранения неполадок и решения проблем.
Эффективные навыки коммуникации и взаимодействия с заинтересованными сторонами.
Опыт предоставления решений в корпоративных средах.
Требуется проживание в регионе Европейского Союза и разрешение на работу.
Приветствуется:
Опыт работы с фреймворками обработки на основе метаданных.
Знакомство с архитектурами, ориентированными на продукты данных.
Знание dbt или современных практик инжиниринга аналитики.
Опыт работы с Databricks Asset Bundles (DABs) и автоматизацией развертывания.
Опыт работы с Infrastructure as Code и облачными платформами данных.
Опыт работы в средах, регулируемых GxP.
Опыт поддержки крупномасштабных программ модернизации или миграции данных.
Знание автоматизации сверки и практик управления корпоративными данными.
Опыт наставничества младших инженеров и вклад в инженерные стандарты.
Процесс найма:
Рассмотрение резюме – звонок HR – собеседование – собеседование с клиентом – решение
