Название: Ведущий инженер данных – Databricks
Местоположение: Коимбатур / гибрид
Обзор должности
Мы ищем инженера данных с практическим опытом создания масштабируемых конвейеров данных и решений для инженерии данных на платформе Databricks Lakehouse. Идеальный кандидат должен обладать глубокими знаниями Python, PySpark, SQL, Databricks, AWS и интеграции с REST API для приема данных, управления большими объемами данных и экспорта данных.
ShyftLabs — растущая компания, занимающаяся продуктами в области данных, основанная в начале 2020 года. Мы в основном работаем с компаниями из списка Fortune 500. Мы поставляем цифровые решения, разработанные для ускорения роста бизнеса в различных отраслях, уделяя особое внимание созданию ценности посредством инноваций.
Обязанности:
- Проектирование, разработка и поддержка масштабируемых ETL/ELT конвейеров с использованием Databricks, PySpark и SQL.
- Интеграция данных из нескольких источников, включая базы данных, Amazon S3, файлы и REST API.
- Создание конвейеров данных с использованием Databricks Unity Catalog.
- Реализация бизнес-логики, преобразований данных и моделей измерений.
- Создание, планирование, мониторинг и оптимизация заданий и рабочих процессов Databricks.
- Проектирование и управление таблицами Delta Lake с использованием архитектуры Medallion (Bronze, Silver, Gold).
- Обеспечение качества данных посредством валидации, обработки ошибок, логирования и мониторинга.
- Оптимизация нагрузок Spark для повышения производительности, масштабируемости и надежности.
- Сотрудничество с кросс-функциональными командами для поставки готовых к эксплуатации решений по работе с данными.
Базовая квалификация:
- Глубокие знания Python, PySpark и продвинутого SQL.
- Практический опыт работы с платформой Databricks Lakehouse.
- Хорошее понимание Unity Catalog, Delta Lake, Databricks Workflows/Jobs, Clusters, Notebooks, Repos и Medallion Architecture.
- Опыт интеграции с REST API для приема и экспорта данных.
- Глубокие знания в области разработки ETL/ELT, пакетной обработки, инкрементальной загрузки и преобразования данных.
- Опыт моделирования данных (Star Schema, Snowflake Schema, таблицы фактов и измерений, концепции SCD).
- Понимание концепций и лучших практик в области хранилищ данных.
- Опыт работы со структурированными и полуструктурированными данными (CSV, JSON, Parquet, Delta).
- Знание партиционирования, оптимизации файлов, настройки производительности Spark и оптимизации запросов.
- Опыт работы с Git и лучшими практиками CI/CD.
Предпочтительные квалификации:
- Более 9 лет опыта в инженерии данных, включая более 3 лет практического опыта работы с Databricks.
- Предыдущий опыт работы на должности ведущего инженера данных / технического руководителя, с опытом руководства инженерами и принятия технических решений.
- Глубокий практический опыт работы с Databricks, Apache Spark и SQL.
- Опыт проектирования, разработки и оптимизации ETL/ELT конвейеров данных.
- Опыт работы с Auto Loader, Spark Declarative Pipelines, Kafka, Airflow или dbt является плюсом.
- Сертификация Databricks будет дополнительным преимуществом.
Мы с гордостью предлагаем конкурентоспособную заработную плату наряду с надежным пакетом страхования. Мы гордимся ростом наших сотрудников, предлагая обширные ресурсы для обучения и развития.
