Название: [Job-32197] Tech Lead Data - Databricks
Компания: CI&T
Местоположение: Бразилия / удаленно
В CI&T мы помогаем крупным предприятиям трансформировать потенциал ИИ в реальное влияние на бизнес с помощью внедрения ИИ, AI-native execution и технологических бизнес-решений.
Обладая 30-летним опытом технологических трансформаций, мы ускоряем инновации благодаря опыту в Agentic SDLC, модернизации приложений, Data & AI, Martech и бизнес-стратегии.
Мы — 8000 CI&Ters в более чем 25 странах, сотрудничающих в создании решений с реальным влиянием. ИИ уже является частью того, как мы работаем, развиваемся и внедряем инновации каждый день.
О роли
Мы ищем старшего специалиста Data Tech Lead, который будет осуществлять техническое руководство нашими инициативами в области инжиниринга данных на Databricks в Azure.
Вы будете напрямую сотрудничать с архитектором данных для определения стандартов и ссылок, устранения препятствий и предоставления команде инжиниринга данных возможности создавать масштабируемые, надежные конвейеры, соответствующие бизнесу, в рамках архитектуры Medallion.
Ключевые обязанности
- Обеспечивать техническое руководство командами Data Engineering, поддерживая проектирование, обзоры и принятие решений для беспрепятственного выполнения задач.
- Совместно с архитектором данных определять техническое видение, стандарты кодирования, соглашения по моделированию и лучшие практики для Lakehouse (Delta Lake + Medallion).
- Проектировать и контролировать конвейеры в Databricks (PySpark/Spark SQL) на уровнях Bronze/Silver/Gold, обеспечивая безопасность, производительность и управление.
- Внедрять и укреплять практики DataOps: контроль версий (Git), CI/CD, тестирование (юнит/интеграционное/качество данных) и документация.
- Оптимизировать задания/конвейеры: партиционирование, настройка Spark, управление затратами и надежность (базовая наблюдаемость и оповещение).
- Обеспечивать нефункциональные требования: безопасность, контроль доступа и политики данных в Azure/Databricks, соответствующие установленным правилам управления.
- Сотрудничать с заинтересованными сторонами (бизнес/аналитика) для преобразования требований в масштабируемые решения с реалистичными планами реализации.
- Менторить инженеров, продвигать стандарты и создавать ссылки (шаблоны, руководства) для ускорения работы команды.
Требуемые навыки и квалификация
Обязательные навыки
- Значительный опыт в Data Engineering и проектах, опыт работы в качестве Tech Lead/Senior, технически и операционно руководящий командами.
- Большой практический опыт работы с Databricks: PySpark и Spark SQL; пакетные конвейеры (и базовые знания потоковой передачи при необходимости).
- Владение Delta Lake и практическое применение архитектуры Medallion (Bronze/Silver/Gold).
- Прочный опыт работы с Azure для данных, включая как минимум: Azure Databricks, Azure Data Lake Storage (ADLS) и интеграцию со службами безопасности/идентификации (например, Azure Active Directory).
- Отличные навыки SQL и Python; основы моделирования (размерностное/потребительское) и лучшие практики для контрактов/схем.
- Опыт работы с DataOps: Git, CI/CD для конвейеров данных, автоматизированное тестирование и четкая документация.
- Подтвержденная способность просматривать дизайн/код, решать проблемы производительности/масштабирования и руководить командами.
- Продвинутый английский для работы с заинтересованными сторонами и создания технической документации.
Желательные навыки
- Unity Catalog (управление/отслеживание/контроль доступа) и Databricks Workflows/Repos; Delta Live Tables.
- Фреймворки качества данных (Great Expectations/Soda) и/или dbt на Lakehouse.
- Оркестрация (Airflow/Databricks Workflows) и наблюдаемость (метрики, журналы, оповещения).
- Опыт работы с CDC/потоковой ингестией (Event Hubs/Kafka) применительно.
- Опыт консультирования и работы с международными клиентами; сертификаты Databricks/Azure.
Наши преимущества:
- Медицинская и стоматологическая страховка
- Пособие на питание и продукты
- Помощь по уходу за детьми
- Расширенный отпуск по уходу за ребенком
- Партнерство с тренажерными залами и специалистами по здоровью и благополучию через Wellhub (Gympass) TotalPass;
- Разделение прибыли и участие в результатах (PLR);
- Страхование жизни
- Платформа непрерывного обучения (CI&T University);
- Дисконтный клуб
- Бесплатная онлайн-платформа, посвященная физическому, психическому и общему благополучию
- Курс по беременности и ответственному родительству
- Партнерство с онлайн-платформами обучения
- Платформа для изучения языков
И многое другое!
Подробнее о наших преимуществах здесь:
В CI&T инклюзивность начинается с первого контакта. Если вы человек с ограниченными возможностями, важно представить свою оценку во время процесса отбора. Узнайте, какие данные необходимо включить в отчет, нажав здесь. Таким образом, мы можем обеспечить поддержку и условия, которых вы заслуживаете. Если у вас еще нет оценки, не волнуйтесь: мы можем помочь вам ее получить.
У нас есть специальная команда по здоровью и благополучию, специалисты по инклюзии и группы по интересам, которые будут с вами на каждом этапе. Рассчитывайте на нас, чтобы пройти этот путь вместе.
