Senior Data Engineer - Databricks

Название: [Job-32192] Старший инженер по работе с данными - Databricks Компания: CI&T Местоположение: Бразилия / удаленно

В CI&T мы помогаем крупным предприятиям трансформировать потенциал ИИ в реальное влияние на бизнес с помощью внедрения ИИ, выполнения проектов на базе ИИ и технологически интегрированных бизнес-решений. Обладая 30-летним опытом в области технологических трансформаций, мы ускоряем инновации благодаря опыту в Agentic SDLC, модернизации приложений, данных и ИИ, Martech и бизнес-стратегии. Мы — 8000 CI&Ters из более чем 25 стран, сотрудничающих для создания решений с реальным влиянием. ИИ уже является частью того, как мы работаем, развиваемся и внедряем инновации каждый день.

Мы ищем Старшего разработчика данных с глубокими знаниями в разработке и поддержке конвейеров данных в Databricks, архитектуры Medallion, интеграции и трансформации данных из различных источников, таких как API, реляционные базы данных, файлы и многие другие! Будучи старшим членом команды, вы также будете предоставлять техническое руководство, наставлять коллег и сотрудничать с кросс-функциональными командами, включая специалистов по данным, аналитиков и инженеров платформы. В роли Старшего разработчика данных вы будете руководить проектированием и разработкой надежных конвейеров данных, интегрируя и трансформируя данные из различных источников, таких как API, реляционные базы данных и файлы. Тесно сотрудничая с бизнес- и аналитическими командами, вы будете обеспечивать высококачественные результаты, отвечающие стратегическим потребностям нашей организации. Ваш опыт будет иметь ключевое значение для поддержания качества, надежности, безопасности и управления поступающими данными, тем самым способствуя нашей миссии сотрудничества, инноваций и трансформации.

Ключевые обязанности Разработка и поддержка конвейеров данных. Интеграция данных из различных источников (API, реляционные базы данных, файлы и т. д.). Сотрудничество с бизнес- и аналитическими командами для понимания требований к данным. Обеспечение качества, надежности, безопасности и управления поступающими данными. Следование современным практикам DataOps, таким как контроль версий кода, тестирование данных и CI/CD. Документирование процессов и передовых практик в области инженерии данных.

Требуемые навыки и квалификация Обязательные навыки Подтвержденный опыт создания и управления крупномасштабными конвейерами данных в Databricks (PySpark, Delta Lake, SQL). Сильные навыки программирования на Python и SQL для обработки и трансформации данных. Глубокое понимание фреймворков ETL/ELT, хранилищ данных и распределенной обработки данных. Практический опыт работы с современными практиками DataOps: контроль версий (Git), конвейеры CI/CD, автоматизированное тестирование, инфраструктура как код. Знакомство с облачными платформами (AWS, Azure или GCP) и связанными с ними службами данных. Сильные навыки решения проблем с возможностью устранения неполадок производительности, масштабируемости и надежности. Свободное владение Git. Продвинутый английский язык является обязательным.

Желательные навыки Опыт работы с контрактами данных, эволюцией схем и обеспечением совместимости между службами. Экспертиза в области фреймворков качества данных (например, Great Expectations, Soda, dbt tests или пользовательские решения). Интеграция с Power BI.

Наши преимущества:

• Медицинская и стоматологическая страховка
• Пособие на питание и продукты
• Помощь по уходу за детьми
• Расширенный отпуск по уходу за ребенком
• Партнерство с тренажерными залами и специалистами по здоровью и благополучию через Wellhub (Gympass) TotalPass;
• Разделение прибыли и участие в результатах (PLR);
• Страхование жизни
• Платформа непрерывного обучения (CI&T University);
• Клуб скидок
• Бесплатная онлайн-платформа, посвященная физическому, психическому и общему благополучию
• Курс по беременности и ответственному родительству
• Партнерство с онлайн-платформами для обучения
• Платформа для изучения языков И многое другое!

Подробнее о наших преимуществах здесь:

В CI&T инклюзивность начинается с первого контакта. Если вы человек с ограниченными возможностями, важно представить вашу оценку в ходе процесса отбора. Нажмите здесь, чтобы узнать, какие данные необходимо включить в отчет. Таким образом, мы сможем обеспечить необходимую вам поддержку и условия. Если у вас еще нет оценки, не волнуйтесь: мы можем помочь вам ее получить.

У нас есть выделенная команда по здоровью и благополучию, специалисты по инклюзивности и группы по интересам, которые будут с вами на каждом этапе. Рассчитывайте на нас, чтобы пройти этот путь вместе.