Senior Data Engineer -Databricks

Название: Старший инженер по работе с данными - Databricks Местоположение: Коимбатур / гибрид

Обзор позиции

Мы ищем инженера по работе с данными с практическим опытом создания масштабируемых конвейеров данных и решений для обработки данных на платформе Databricks Lakehouse. Идеальный кандидат должен обладать глубокими знаниями Python, PySpark, SQL, Databricks, AWS и интеграции с REST API для приема данных, управления большими объемами данных и экспорта данных. ShyftLabs — растущая компания, специализирующаяся на продуктах для работы с данными, основанная в начале 2020 года и работающая в основном с компаниями из списка Fortune 500. Мы предоставляем цифровые решения, призванные ускорить рост бизнеса в различных отраслях, фокусируясь на создании ценности посредством инноваций.

Обязанности: Разработка, создание и поддержка масштабируемых ETL/ELT конвейеров с использованием Databricks, PySpark и SQL. ● Интеграция данных из нескольких источников, включая базы данных, Amazon S3, файлы и REST API. ● Создание конвейеров данных с использованием Databricks Unity Catalog. ● Реализация бизнес-логики, преобразований данных и моделей данных. ● Создание, планирование, мониторинг и оптимизация заданий и рабочих процессов Databricks. ● Проектирование и управление таблицами Delta Lake с использованием архитектуры Medallion (Bronze, Silver, Gold). ● Обеспечение качества данных посредством проверок, обработки ошибок, ведения журналов и мониторинга. ● Оптимизация рабочих нагрузок Spark с точки зрения производительности, масштабируемости и надежности. ● Сотрудничество с кросс-функциональными командами для предоставления готовых к производству решений для работы с данными. Базовая квалификация: Глубокие знания Python, PySpark и продвинутого SQL. ● Практический опыт работы с платформой Databricks Lakehouse. ● Хорошее понимание Unity Catalog, Delta Lake, Databricks Workflows/Jobs, Clusters, Notebooks, Repos и Medallion Architecture. ● Опыт интеграции с REST API для приема и экспорта данных. ● Глубокие знания в области разработки ETL/ELT, пакетной обработки, инкрементальной загрузки и преобразования данных. Опыт работы с управлением данными будет дополнительным преимуществом. ● Опыт работы с моделированием данных (Star Schema, Snowflake Schema, Fact & Dimension tables, концепции SCD). ● Понимание концепций и лучших практик построения хранилищ данных. ● Опыт работы со структурированными и полуструктурированными данными (CSV, JSON, Parquet, Delta). ● Знание партиционирования, оптимизации файлов, настройки производительности Spark и оптимизации запросов. ● Опыт работы с Git и лучшими практиками CI/CD Предпочтительные квалификации: 4+ года опыта работы в области инженерии данных, из них 2+ года практического опыта работы с Databricks. Опыт работы с управлением данными будет дополнительным преимуществом. ● Опыт работы с Auto Loader, Spark Declarative pipelines, Kafka, Airflow или dbt будет плюсом. ● Сертификация Databricks будет дополнительным преимуществом. Мы гордимся тем, что предлагаем конкурентоспособную заработную плату наряду с надежным пакетом страхования. Мы гордимся ростом наших сотрудников, предлагая обширные ресурсы для обучения и развития.