Senior Data Engineer (Databricks Migration)

Участие в миграции крупномасштабной аналитической платформы из BigQuery в Databricks Проектирование и внедрение масштабируемых архитектур Lakehouse с использованием Databricks и Delta Lake Анализ существующих ETL / ELT рабочих нагрузок и определение подходов к миграции Разработка и оптимизация конвейеров данных, обрабатывающих большие объемы розничных и аналитических данных Внедрение стратегий инкрементальной обработки и масштабируемых фреймворков трансформации Создание и поддержка решений для обработки данных на базе Spark с использованием PySpark Проектирование и поддержка уровней архитектуры Medallion, включая Bronze, Silver и Gold Внедрение лучших практик управления данными и безопасности с использованием Unity Catalog Сотрудничество с командами Data Science, Analytics, Product и Customer Engineering Участие в обсуждениях архитектуры и проектировании технических решений Разработка повторно используемых компонентов платформы данных и инженерных стандартов Проведение обзоров кода и вклад в надежность и поддерживаемость платформы Поиск и устранение неисправностей, а также оптимизация сложных SQL и Spark рабочих нагрузок Поддержка продуктовых развертываний и мероприятий по модернизации платформы

5+ лет профессионального опыта в качестве инженера данных Сильные навыки программирования на Python и продвинутый SQL Практический коммерческий опыт работы с Databricks Глубокое знание Apache Spark, в основном PySpark Опыт проектирования и создания современных облачных платформ данных Опыт разработки ETL / ELT конвейеров и крупномасштабных решений для обработки данных Практический опыт работы с Delta Lake Опыт работы со Spark Declarative Pipelines Опыт мониторинга кластеров, анализа метрик и оптимизации производительности Глубокое понимание распределенных архитектур обработки данных Прочное понимание концепций хранилищ данных и многомерного моделирования Опыт работы с Airflow или аналогичными инструментами оркестрации Опыт оптимизации сложных аналитических SQL рабочих нагрузок Опыт внедрения практик CI/CD для платформ инженерии данных Сильные навыки устранения неполадок и оптимизации производительности Способность к совместной работе в межфункциональных международных командах Английский язык на уровне Upper-Intermediate или выше

БУДЕТ ПЛЮСОМ Опыт работы с облачными сервисами GCP Опыт работы с облачными платформами AWS или Azure Опыт работы в области розничной аналитики или оптимизации ценообразования Опыт поддержки рабочих нагрузок, связанных с машинным обучением или ИИ Опыт поддержки инициатив по модернизации платформ и облачной миграции

ЛИЧНОСТНЫЙ ПРОФИЛЬ Сильный аналитический склад ума и умение решать проблемы Проактивный подход и ориентация на результат Способность работать как самостоятельно, так и в команде Хорошие коммуникативные навыки и навыки взаимодействия с заинтересованными сторонами Страсть к масштабируемой инженерии данных и современным платформам данных Интерес к непрерывному обучению и технологическим инновациям

Вы — Senior Data Engineer, увлеченный созданием масштабируемых, высокопроизводительных платформ данных и работой с современными технологиями Lakehouse? Присоединяйтесь к Центру передового опыта в области инженерии данных Sigma Software и внесите свой вклад в модернизацию аналитической экосистемы корпоративного масштаба для розничной торговли. Мы ищем старшего специалиста с сильной экспертизой в Databricks, PySpark и облачной инженерии данных для участия в миграции крупномасштабной аналитической платформы из BigQuery в Databricks. Вы будете сотрудничать с международными командами, участвовать в принятии архитектурных решений и помогать формировать надежные и масштабируемые решения для данных. В Sigma Software мы создаем возможности для непрерывного обучения, технологического роста и значимого инженерного влияния, работая над сложными международными проектами.

ЗАКАЗЧИК Наш Заказчик — ведущая технологическая компания в сфере розничной торговли, специализирующаяся на решениях по оптимизации ценообразования на базе ИИ для корпоративных ритейлеров. Компания помогает бизнесу повышать прибыльность и конкурентоспособность с помощью передовой аналитики, автоматизации и интеллектуальных стратегий ценообразования. Их платформа сочетает в себе бизнес-аналитику со сложными алгоритмами для поддержки принятия обоснованных решений о ценообразовании в масштабе для глобальных розничных организаций.

ПРОЕКТ Проект сосредоточен на стратегической миграции крупномасштабной аналитической платформы из устаревшей экосистемы BigQuery в современную архитектуру Databricks Lakehouse. Платформа обрабатывает большие объемы розничных наборов данных, рабочие нагрузки машинного обучения, аналитические конвейеры и бизнес-логику, специфичную для клиентов. В рамках инициативы по модернизации команда инженеров внедряет масштабируемую обработку на базе Spark, архитектуру Delta Lake, уровни данных Medallion и современные практики управления. Роль предлагает возможность работать с распределенными системами обработки данных, оптимизировать крупномасштабные рабочие нагрузки и вносить вклад в развитие платформы корпоративного уровня.

Ключевые технологии: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog