Senior Data Engineer (Databricks Migration)

Участвуйте в миграции крупномасштабной аналитической платформы из BigQuery в Databricks Проектируйте и внедряйте масштабируемые архитектуры Lakehouse с использованием Databricks и Delta Lake Анализируйте существующие ETL / ELT рабочие нагрузки и определяйте подходы к миграции Разрабатывайте и оптимизируйте конвейеры данных, обрабатывающие большие объемы розничных и аналитических данных Внедряйте стратегии инкрементальной обработки и масштабируемые фреймворки трансформации Создавайте и поддерживайте решения для обработки данных на основе Spark, используя PySpark Проектируйте и поддерживайте слои архитектуры medallion, включая Bronze, Silver и Gold Внедряйте лучшие практики управления данными и безопасности с помощью Unity Catalog Сотрудничайте с командами Data Science, Analytics, Product и Customer Engineering Участвуйте в обсуждениях архитектуры и проектировании технических решений Разрабатывайте повторно используемые компоненты платформы данных и инженерные стандарты Проводите ревью кода и вносите вклад в надежность и поддерживаемость платформы Устраняйте неполадки и оптимизируйте сложные SQL и Spark рабочие нагрузки Поддерживайте развертывания в производстве и мероприятия по модернизации платформы

5+ лет профессионального опыта работы в качестве Data Engineer Сильные навыки программирования на Python и продвинутый SQL Практический коммерческий опыт работы с Databricks Глубокие знания Apache Spark, в первую очередь PySpark Опыт проектирования и построения современных облачных платформ данных Опыт разработки ETL / ELT конвейеров и крупномасштабных решений по обработке данных Практический опыт работы с Delta Lake Опыт работы со Spark Declarative Pipelines Опыт мониторинга кластеров, анализа метрик и оптимизации производительности Глубокое понимание архитектур распределенной обработки данных Прочное понимание концепций хранилищ данных и размерного моделирования Опыт работы с Airflow или аналогичными инструментами оркестрации Опыт оптимизации сложных аналитических SQL рабочих нагрузок Опыт внедрения практик CI / CD для платформ инжиниринга данных Сильные навыки устранения неполадок и оптимизации производительности Способность к совместной работе в межфункциональных международных командах Уровень английского языка Upper-Intermediate или выше

БУДЕТ ПЛЮСОМ Опыт работы с облачными сервисами GCP Опыт работы с облачными платформами AWS или Azure Опыт работы в области розничной аналитики или оптимизации ценообразования Опыт поддержки рабочих нагрузок, связанных с машинным обучением или ИИ Опыт поддержки инициатив по модернизации платформ и облачной миграции

ПРОФИЛЬ КАНДИДАТА Сильное аналитическое мышление и навыки решения проблем Проактивный подход и ответственность Способность работать самостоятельно и в команде Хорошие коммуникативные навыки и навыки взаимодействия с заинтересованными сторонами Страсть к масштабируемому инжинирингу данных и современным платформам данных Интерес к непрерывному обучению и технологическим инновациям

Вы Senior Data Engineer, увлеченный созданием масштабируемых, высокопроизводительных платформ данных и работой с современными технологиями Lakehouse? Присоединяйтесь к Центру передового опыта в области инжиниринга данных Sigma Software и внесите свой вклад в модернизацию аналитической экосистемы корпоративного масштаба для розничного домена. Мы ищем старшего специалиста с сильной экспертизой в Databricks, PySpark и облачном инжиниринге данных для участия в миграции крупномасштабной аналитической платформы из BigQuery в Databricks. Вы будете сотрудничать с международными командами, участвовать в принятии архитектурных решений и помогать формировать надежные и масштабируемые решения для данных. Мы в Sigma Software создаем возможности для непрерывного обучения, технологического роста и значимого инженерного вклада, работая над сложными международными проектами.

ЗАКАЗЧИК Наш Заказчик — ведущая компания в сфере розничных технологий, специализирующаяся на решениях по оптимизации ценообразования на основе ИИ для корпоративных ритейлеров. Компания помогает бизнесу повышать прибыльность и конкурентоспособность за счет передовой аналитики, автоматизации и интеллектуальных стратегий ценообразования. Их платформа объединяет бизнес-аналитику со сложными алгоритмами для поддержки принятия обоснованных ценовых решений в масштабе для глобальных розничных организаций.

ПРОЕКТ Проект сосредоточен на стратегической миграции крупномасштабной аналитической платформы из устаревшей экосистемы BigQuery в современную архитектуру Databricks Lakehouse. Платформа обрабатывает большие объемы розничных данных, рабочие нагрузки машинного обучения, аналитические конвейеры и бизнес-логику, специфичную для клиентов. В рамках инициативы по модернизации команда инженеров внедряет масштабируемую обработку на основе Spark, архитектуру Delta Lake, уровни данных medallion и современные практики управления. Роль предлагает возможность работать с распределенными системами обработки данных, оптимизировать крупномасштабные рабочие нагрузки и способствовать развитию платформы корпоративного уровня. Ключевые технологии: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog