Databricks Data Engineer

Название: Инженер данных Databricks Компания: Devoteam Местоположение: Амстердам / Нидерланды

Мы ищем талантливого и увлеченного инженера данных Databricks, который присоединится к нашей расширяющейся команде Microsoft Databricks. На этой должности вы будете играть ключевую роль в проектировании, создании и поддержке передовых решений для данных на платформе Databricks. У вас будет возможность работать с различными клиентами из разных отраслей, сотрудничая как с внутренними командами, так и с заинтересованными сторонами клиентов, для предоставления высококачественных конвейеров данных и обеспечения принятия решений на основе данных.

Обязанности:

• Инженерия конвейеров данных: Проектирование, разработка и внедрение надежных и масштабируемых конвейеров данных с использованием Databricks, включая извлечение данных из различных источников (базы данных, API, потоковые платформы), преобразование и очистку с помощью Spark, а также загрузку в целевые системы (озера данных, хранилища данных и т. д.). Оптимизация производительности конвейеров для эффективности и экономической целесообразности.

• Экспертиза в экосистеме Databricks: Использование полных возможностей платформы Databricks, включая Databricks SQL, Delta Lake, Databricks Runtime и Databricks Workflows, для оркестровки сложных рабочих процессов данных и обеспечения качества данных и надежности конвейеров.

• Интеграция с облачными сервисами: Бесшовная интеграция Databricks с облачными сервисами (Azure, AWS или GCP) для хранения, вычислений и безопасности, используя такие сервисы, как Azure Data Lake Storage, AWS S3, Google Cloud Storage и другие.

• Архитектура и моделирование данных: Участие в проектировании и внедрении надежных моделей и архитектур данных для озер данных и хранилищ данных, обеспечивая согласованность, целостность и доступность данных для различных сценариев использования.

• Обеспечение качества данных: Внедрение строгих проверок качества данных и процедур проверки на протяжении всего конвейера данных для поддержания высокой точности и надежности. Соблюдение политик управления данными и лучших практик.

• Сотрудничество и коммуникация: Тесное взаимодействие с научными сотрудниками по данным, аналитиками, специалистами по бизнес-аналитике и заинтересованными сторонами бизнеса для понимания их требований к данным и предоставления технической экспертизы по Databricks и лучшим практикам в области инженерии данных.

• Непрерывное обучение: Будьте в курсе последних функций Databricks, облачных технологий и тенденций в области инженерии данных, чтобы постоянно улучшать наши решения и добиваться инновационных результатов для наших клиентов.

• Наличие университетского диплома в области компьютерных наук, (бизнес-)инженерии или специализированной магистратуры по машинному обучению или ИИ.

• Подтвержденный опыт: Более 2 лет опыта работы в качестве инженера данных с подтвержденной экспертизой в Databricks.

• Облачная квалификация: Практический опыт работы с как минимум одной крупной облачной платформой (Azure, AWS или GCP) с хорошим пониманием облачных сервисов данных и инфраструктуры.

• Навыки программирования: Сильные навыки программирования на Python или Scala с опытом работы с библиотеками для обработки данных (например, PySpark, Spark SQL).

• Основы данных: Глубокое понимание принципов хранилищ данных, процессов ETL, методов моделирования данных и систем баз данных.

• Экспертиза SQL: Продвинутые навыки SQL для запросов, преобразования и анализа данных.

• Коммуникативные навыки: Отличные коммуникативные и межличностные навыки, способность эффективно взаимодействовать с техническими и нетехническими заинтересованными сторонами.

• Решение проблем: Сильные аналитические способности и навыки решения проблем, проактивный подход к выявлению и устранению проблем, связанных с данными.

• Знание нидерландского языка является большим плюсом.

В Devoteam мы инвестируем в наших людей. Наш пакет льгот включает:

• Отличные первичные и вторичные льготы по трудоустройству (отличная зарплата, бонус, служебный автомобиль, ноутбук, телефон и т. д.).
• Персонализированный план карьерного развития с конкретными тренингами и сертификатами, адаптированными к вашей области.
• Любая возможность для роста в качестве лидера мнений посредством обмена знаниями, блогов и ключевых выступлений.
• Уникальная возможность работать из Европы в течение 4 недель в год.
• Активное внутреннее сообщество с сессиями по обмену знаниями, от еженедельных Tech Thursdays до KISSes (Knowledge & Information Sharing Sessions).

Мы с нетерпением ждем возможности приветствовать вас в нашей открытой и доступной культуре! Готовы ли вы к следующему вызову? Подайте заявку сегодня!

Вопросы? Свяжитесь с Каспером Пошем по адресу контакт рекрутера.

Кто мы?

Мы — Devoteam, технологическая консалтинговая компания, основанная на искусственном интеллекте, с более чем 11 000 технических экспертов, работающих в 25 странах Европы и Ближнего Востока. В Devoteam мы твердо верим в силу технологий, с ИИ в основе нашего подхода. Мы сотрудничаем с ведущими поставщиками, такими как Google, Microsoft, AWS и ServiceNow. В Нидерландах у нас около 300 экспертов, специализирующихся на облачных технологиях, кибербезопасности, данных и ИИ.

С нами вы станете частью сообщества Техно-энтузиастов в культуре, где ошибки разрешены, и где каждый — от ярких молодых талантов до опытных рок-звезд — поощряется к постоянным инновациям и росту. Мы — сообщество, которое гордится тем, кто вы есть, и помогает вам раскрыть свой лучший потенциал. Мы аллергичны к ненужным иерархиям и излишним процессам. В Devoteam единственной константой является «изменение».