Databricks Engineer - Senior/ Lead

Мы ищем опытного инженера Azure Databricks с глубокими практическими знаниями Python, SQL и Apache Spark для проектирования, создания и оптимизации масштабируемых конвейеров данных и аналитических решений на облачной платформе Azure. Идеальный кандидат должен иметь опыт работы с большими наборами данных, распределенной обработкой данных и современными практиками обработки данных.

Обязанности

• Проектирование, разработка и поддержка масштабируемых конвейеров данных с использованием Azure Databricks
• Реализация рабочих процессов ETL/ELT с использованием PySpark, Spark SQL и Python
• Оптимизация заданий Spark для повышения производительности, снижения затрат и масштабируемости
• Работа со структурированными и полуструктурированными данными (Parquet, Delta, JSON, CSV)
• Создание и управление таблицами Delta Lake (ACID, time travel, schema evolution)
• Интеграция Databricks с Azure Data Lake Storage (ADLS Gen2)
• Разработка сложных запросов и преобразований с использованием SQL
• Сотрудничество с специалистами по данным, аналитиками и заинтересованными сторонами для поддержки аналитики и сценариев использования машинного обучения
• Обеспечение качества данных, валидации и мониторинга
• Следование лучшим практикам безопасности, контроля доступа и управления в Azure

6+ лет опыта в Data Engineering

• Глубокий практический опыт работы с Azure Databricks

• Владение Python для обработки данных

• Глубокие знания SQL (join, оконные функции, настройка производительности)

• Практический опыт работы с Apache Spark / PySpark

• Опыт работы с Delta Lake

• Знание Azure Data Lake Storage (ADLS Gen2)

• Понимание концепций распределенных вычислений

• Опыт работы с системой контроля версий Git

• Опыт работы с Azure Data Factory

• Опыт работы с конвейерами CI/CD (Azure DevOps, GitHub Actions)

• Базовое понимание моделирования данных

• Знакомство с облачной безопасностью и RBAC в Azure

• Опыт работы с потоковыми данными (Spark Structured Streaming, Event Hub, Kafka)

Blend — ведущий поставщик услуг в области ИИ, стремящийся к совместному созданию значимого воздействия для своих клиентов с помощью науки о данных, ИИ, технологий и людей. Имея миссию по воплощению смелых видений, Blend решает значительные задачи, безупречно согласовывая человеческий опыт с искусственным интеллектом. Компания стремится раскрывать ценность и способствовать инновациям для своих клиентов, используя лучшие в своем классе кадры и стратегию, основанную на данных. Мы верим, что сила людей и ИИ может оказать значительное влияние на ваш мир, создавая более полноценную работу и проекты для наших сотрудников и клиентов. Для получения дополнительной информации посетите www.blend360.com.