Cloud Data Engineer - Snowflake, DBT, Airflow and AWS

Название: Инженер по облачным данным - Snowflake, DBT, Airflow и AWS Местоположение: Бангалор - кампус EC-2 Gateway

Местоположение: Бангалор - кампус EC-2 Gateway Занятость: Полная

## Описание вакансии Synechron ищет старшего инженера по облачным данным с глубокими знаниями Snowflake, DBT, Apache Airflow и AWS для проектирования, разработки и поддержки масштабируемых облачных платформ данных. Эта роль сочетает практическую работу инженера по данным, внедрение облачных платформ, автоматизацию инфраструктуры, проектирование решений, обсуждение архитектуры и взаимодействие с заинтересованными сторонами. Успешный кандидат будет создавать надежные, безопасные, высокопроизводительные и поддерживаемые решения для данных, которые соответствуют бизнес-требованиям и корпоративным инициативам в области данных. Эта роль способствует достижению бизнес-целей за счет повышения масштабируемости платформы данных, автоматизации, качества данных, операционной эффективности, управления и доступности доверенных данных для аналитики и принятия решений.

## Требования к программному обеспечению ### Обязательные навыки работы с программным обеспечением - Snowflake: Минимум 4–6 лет практического опыта проектирования, разработки, оптимизации и поддержки облачных хранилищ данных. - DBT: Практический опыт разработки моделей, тестов, документации, макросов, источников данных и повторно используемых ELT-рабочих процессов. - Apache Airflow: Опыт проектирования, планирования, мониторинга и устранения неполадок рабочих процессов обработки данных и зависимостей. - Сервисы облака AWS: Минимум 4–6 лет практического опыта внедрения и поддержки облачных платформ и сервисов данных. - Python: Опыт работы с инжинирингом данных, автоматизацией, оркестрацией, тестированием и поддержкой облачных платформ. - SQL: Значительный опыт написания, оптимизации и устранения неполадок запросов для трансформации, проверки и анализа данных. - Хранилища данных и моделирование данных: Опыт работы с реляционным моделированием, структурами данных, качеством данных, интеграцией данных и оптимизацией хранилищ. - GitHub/Git: Опыт работы с системой контроля версий, ветвлением, слиянием, запросами на слияние (pull requests), проверкой кода и совместной разработкой. - Terraform и/или CloudFormation: Опыт внедрения инфраструктуры как кода (IaC) для облачных платформ данных и поддержки изменений инфраструктуры. - Конвейеры CI/CD: Опыт работы с Buildkite, Azure DevOps, Jenkins, GitHub Actions или аналогичными инструментами CI/CD. - AWS IAM, безопасность и мониторинг: Понимание управления идентификацией и доступом, безопасной конфигурации, ведения журналов, оповещений и мониторинга облачных платформ. - Версии программного обеспечения: Опыт работы с версиями Snowflake, DBT, Airflow, сервисов AWS, Terraform или CloudFormation, Python, SQL и инструментами CI/CD, используемыми в назначенном проекте Synechron.

### Желательные навыки работы с программным обеспечением - Опыт внедрения корпоративных облачных платформ данных. - Знакомство с сервисами AWS для данных, хранения, вычислений, сетей, мониторинга и бессерверными сервисами. - Опыт работы с облачными архитектурами, паттернами Data Lake или Lakehouse и современными практиками инжиниринга данных. - Знакомство с инструментами управления данными, управления метаданными, отслеживания происхождения данных, каталогизации данных и обеспечения качества данных. - Опыт автоматизированного тестирования, проверки развертывания, наблюдаемости (observability) и практики обеспечения надежности платформы. - Опыт работы с инструментами Agile-доставки и платформами управления задачами. - Опыт работы с архитектурой решений, техническим лидерством и записями архитектурных решений (ADR). - Могут рассматриваться эквивалентные инструменты и технологии, если они предоставляют сопоставимые возможности.

## Общие обязанности - Проектировать, разрабатывать и поддерживать масштабируемые облачные платформы данных на базе AWS. - Создавать, оптимизировать и поддерживать ELT/ETL конвейеры с использованием Snowflake, DBT и Apache Airflow. - Разрабатывать надежные, повторно используемые, протестированные и документированные модели данных и рабочие процессы трансформации. - Участвовать в проектировании решений, обсуждении архитектуры, принятии технических решений и обзорах проектов. - Внедрять и управлять инфраструктурой как кодом с использованием Terraform и/или CloudFormation. - Разрабатывать, поддерживать и улучшать конвейеры CI/CD для развертывания платформ данных. - Сотрудничать с бизнес-заинтересованными сторонами, архитекторами, командами по данным, инженерными командами, командами по безопасности и эксплуатации для предоставления решений для данных. - Преобразовывать бизнес- и технические требования в масштабируемые, безопасные, поддерживаемые и операционно поддерживаемые решения платформы данных. - Обеспечивать надежность платформы, производительность, безопасность, качество данных, доступность и операционное совершенство. - Устранять производственные проблемы, сбои конвейеров, проблемы с качеством данных, узкие места в производительности и проблемы с инфраструктурой. - Предоставлять постоянную поддержку облачной платформы и участвовать в реагировании на инциденты, анализе первопричин и мероприятиях по их устранению. - Продвигать лучшие практики в области автоматизации, управления данными, мониторинга, наблюдаемости, документации и оптимизации облачных ресурсов. - Способствовать техническому лидерству, проверяя проекты, направляя решения по внедрению и поддерживая обмен знаниями. - Продвигать устойчивые практики инжиниринга данных, оптимизируя использование вычислительных ресурсов и хранилищ, уменьшая ненужное перемещение данных, повторно используя компоненты конвейеров и поддерживая эффективные облачные операции. - Предоставлять решения, соответствующие согласованным требованиям к качеству, безопасности, масштабируемости, производительности, поддерживаемости и операционной поддержке. - Измерять результаты через надежность конвейеров, качество данных, эффективность развертывания, производительность платформы, экономическую эффективность и удовлетворенность заинтересованных сторон.

## Технические навыки (по категориям) ### Языки программирования #### Основные - Глубокое знание Python для инжиниринга данных, автоматизации, оркестрации, проверки, тестирования и поддержки облачных платформ. - Продвинутые навыки SQL для трансформации данных, моделирования, проверки, оптимизации и устранения неполадок. - Способность писать модульный, повторно используемый, поддерживаемый и тестируемый код. - Опыт работы со структурированными и полуструктурированными данными в облачных платформах данных.

#### Желательные - Знакомство с дополнительными языками программирования или сценариев, используемыми для облачной автоматизации или обработки данных. - Опыт разработки повторно используемых библиотек Python, утилитных функций, фреймворков контроля качества данных или автоматизации развертывания. - Знакомство с практиками разработки программного обеспечения, такими как модульное тестирование, статичный анализ и управление качеством кода.

### Базы данных/Управление данными #### Основные - Значительный практический опыт работы со Snowflake. - Опыт работы с хранилищами данных, моделированием данных, интеграцией данных и трансформацией данных. - Понимание реляционного моделирования, структур фактов и измерений, медленно меняющихся измерений, секционирования данных и оптимизации запросов. - Опыт разработки моделей DBT, тестов, источников, документации, макросов и зависимостей. - Понимание качества данных, проверки, сверки, отслеживания происхождения, метаданных и доступности данных. - Способность оптимизировать рабочие нагрузки хранилища и управлять эффективностью обработки данных.

#### Желательные - Опыт работы с озерами данных (Data Lakes), озёрами-хранилищами (Lakehouses), внешними таблицами, полуструктурированными данными или современными архитектурами облачных данных. - Знакомство с каталогизацией данных, фреймворками управления данными, основными данными, справочными данными и практиками хранения данных. - Опыт поддержки аналитики, отчетности, операционных данных или требований к данным для машинного обучения.

### Облачные технологии #### Основные - Минимум 4–6 лет практического опыта работы с AWS. - Опыт проектирования, развертывания и поддержки облачных платформ данных. - Понимание облачных вычислений, хранения, сетей, идентификации, мониторинга, масштабируемости, доступности и отказоустойчивости. - Опыт применения AWS IAM и соответствующих средств контроля безопасности. - Способность оценивать варианты облачной архитектуры с точки зрения производительности, надежности, безопасности, поддерживаемости и стоимости.

#### Желательные - Опыт работы с сервисами AWS, поддерживающими прием, хранение, обработку, оркестрацию данных, мониторинг и бессерверные рабочие нагрузки. - Знакомство с облачными архитектурами, зонами посадки (landing zones), высокой доступностью, аварийным восстановлением и управлением средами. - Опыт оптимизации облачного потребления и снижения ненужных расходов на вычисления, хранение и передачу данных.

### Фреймворки и библиотеки #### Основные - Значительный опыт работы с DBT для облачных трансформаций данных и управления моделями. - Значительный опыт работы с Apache Airflow для оркестрации рабочих процессов, планирования, управления зависимостями, мониторинга и восстановления. - Опыт разработки и интеграции со Snowflake. - Опыт проектирования повторно используемых компонентов конвейеров данных и управляемых конфигурацией рабочих процессов. - Способность интегрировать рабочие процессы обработки данных с облачными сервисами, системами контроля версий, CI/CD, средствами мониторинга и контроля безопасности.

#### Желательные - Знакомство с пакетами DBT, повторно используемыми макросами, инкрементальными моделями, снимками (snapshots) и продвинутыми паттернами тестирования. - Опыт работы с операторами Airflow, сенсорами, хуками, дизайном DAG, маппингом задач, планированием и операционной оптимизацией. - Знакомство с фреймворками контроля качества данных, наблюдаемости, управления метаданными, отслеживания происхождения данных или каталогизации данных.

### Инструменты разработки и методологии #### Основные - Опыт внедрения инфраструктуры как кода с использованием Terraform и/или CloudFormation. - Опыт разработки и поддержки конвейеров CI/CD с использованием Buildkite, Azure DevOps, Jenkins, GitHub Actions или аналогичных инструментов. - Опыт работы с Git или разработкой на основе GitHub, включая запросы на слияние (pull requests), ветвление, слияние, тегирование и проверку кода. - Понимание Agile-разработки и итеративных практик доставки. - Опыт автоматизации развертывания, тестирования, управления релизами, планирования отката и продвижения по средам. - Опыт устранения производственных проблем и проведения анализа первопричин. - Способность создавать и поддерживать техническую документацию, руководства (runbooks), архитектурные диаграммы и операционные процедуры.

#### Желательные - Опыт автоматизированного тестирования инфраструктуры, проверки развертывания, проверок политик и управления релизами. - Знакомство с мониторингом, оповещениями, ведением журналов, наблюдаемостью и панелями мониторинга работоспособности платформы. - Опыт технического лидерства, проектирования решений, обзоров архитектуры и документирования решений. - Знакомство с инжинирингом платформ, самообслуживаемым развертыванием и повторно используемыми модулями облачной инфраструктуры.

### Протоколы безопасности #### Основные - Глубокое понимание AWS IAM, ролевого доступа, разрешений минимальных привилегий, аутентификации, авторизации и безопасной интеграции сервисов. - Опыт защиты конфиденциальных данных с помощью соответствующих средств контроля доступа, шифрования, маскирования, хранения и безопасной обработки данных. - Понимание безопасной инфраструктуры как кода, CI/CD, систем контроля версий, управления секретами и практик развертывания. - Способность выявлять и устранять риски безопасности в конвейерах данных, облачной инфраструктуре, сервисах платформы и операционных рабочих процессах. - Осведомленность о требованиях к аудиту, соответствию нормативным требованиям, конфиденциальности данных и управлению ими.

#### Желательные - Опыт работы с инструментами управления секретами, управления ключами, шифрования, сетевыми средствами контроля, частной связи и мониторинга безопасности. - Знакомство с политиками как кодом, управлением уязвимостями, тестированием безопасности и средствами контроля соответствия облачным нормам. - Опыт внедрения требований безопасности в регулируемых или строго контролируемых средах.

## Требования к опыту - 8–10 лет общего ИТ-опыта в области инжиниринга данных, облачного инжиниринга, инжиниринга платформ, инжиниринга решений или смежной области. - Минимум 4–6 лет практического опыта работы со Snowflake и AWS. - Подтвержденный опыт полного цикла предоставления облачных решений для инжиниринга данных: от требований и архитектуры до внедрения, развертывания и операционной поддержки. - Значительный опыт работы со Snowflake, DBT, Apache Airflow, Python, SQL, хранилищами данных, моделированием данных и облачными платформами данных. - Опыт внедрения инфраструктуры как кода с использованием Terraform и/или CloudFormation. - Опыт разработки конвейеров CI/CD для развертывания платформ данных. - Опыт работы с AWS IAM, безопасностью, мониторингом, надежностью платформ и оптимизацией облачных ресурсов. - Опыт участия в разработке решений, обсуждении архитектуры, принятии технических решений и техническом лидерстве. - Опыт работы в Agile-средах и сотрудничества с бизнес-заинтересованными сторонами, архитекторами, инженерными командами и командами по технологиям. - Желателен опыт работы в сфере финансовых услуг, банковского дела или взыскания задолженностей. - Кандидаты также могут претендовать на эту должность при наличии эквивалентных комбинаций опыта в области облачного инжиниринга данных, разработки платформ данных, архитектуры решений, DevOps-инжиниринга, аналитического инжиниринга или внедрения облачных платформ, которые демонстрируют необходимые возможности и результаты.

## Ежедневные задачи - Разрабатывать, оптимизировать, мониторить и поддерживать конвейеры Snowflake, DBT и Airflow, модели данных, рабочие процессы и компоненты облачной платформы данных. - Сотрудничать с бизнес-заинтересованными сторонами, архитекторами, инженерными командами, командами по данным и командами по безопасности для уточнения требований, проверки проектов и предоставления решений для данных. - Автоматизировать инфраструктуру и развертывания с использованием Terraform или CloudFormation, поддерживать конвейеры CI/CD, исследовать производственные проблемы и повышать надежность платформы. - Принимать технические решения в рамках согласованной архитектуры и системы управления, сбалансированно учитывая производительность, безопасность, масштабируемость, стоимость и поддерживаемость; при необходимости сообщать о существенных рисках.

## Квалификация - Степень бакалавра или магистра в области компьютерных наук, инжиниринга данных, информационных технологий, инженерии или смежной области; могут быть рассмотрены эквивалентные соответствующие профессиональные навыки. - Требуется подтвержденный опыт предоставления масштабируемых облачных платформ данных с использованием Snowflake, AWS, DBT, Airflow, Python, SQL и практик инфраструктуры как кода. - Сертификация AWS, Snowflake, инжиниринга данных, Terraform или смежная профессиональная сертификация желательна, но не обязательна. - Желательно соответствующее обучение по облачной архитектуре, хранилищам данных, DBT, Airflow, инфраструктуре как коду, CI/CD, безопасности, управлению данными или Agile-доставке. - Приверженность непрерывному профессиональному развитию через техническое обучение, сертификацию, обмен знаниями, практику архитектуры и осведомленность о развивающихся стандартах облачного инжиниринга данных.

## Профессиональные компетенции - Применять критическое мышление и структурированное решение проблем для диагностики сбоев конвейеров, проблем с качеством данных, инцидентов на платформе, ограничений производительности и архитектурных рисков. - Обеспечивать техническое лидерство через обзоры проектов, обмен знаниями, руководство внедрением и эффективное сотрудничество между командами по данным, инжинирингу, архитектуре, безопасности и бизнесу. - Четко доносить технические концепции, варианты архитектуры, прогресс выполнения, риски, зависимости и рекомендации до технических и нетехнических заинтересованных сторон. - Адаптироваться к изменяющимся бизнес-требованиям, облачным сервисам, возможностям платформ данных, средствам контроля безопасности, практикам доставки и новым технологиям инжиниринга данных. - Выявлять возможности для улучшения автоматизации, качества данных, надежности платформы, управления, экономической эффективности, наблюдаемости, масштабируемости и устойчивого использования облачных ресурсов. - Управлять множеством инициатив по платформе, производственными приоритетами, ожиданиями заинтересованных сторон, зависимостями и обязательствами по доставке, сохраняя при этом внимание к деталям и техническое качество.

## ЗАЯВЛЕНИЕ SYNECHRON О РАЗНООБРАЗИИ И ВКЛЮЧЕНИИ Разнообразие и инклюзивность являются основой нашей культуры, и Synechron гордится тем, что является рабочим местом с равными возможностями и аффирмативным работодателем. Наша инициатива в области разнообразия, справедливости и инклюзивности (DEI) «Same Difference» направлена на развитие инклюзивной культуры – поощрение равенства, разнообразия и уважительной среды для всех. Мы твердо убеждены, что разнообразный кадровый состав помогает строить более сильные, успешные бизнесы как глобальная компания. Мы поощряем кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности, подавать заявки. Мы расширяем возможности нашего глобального штата, предлагая гибкие условия труда, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое. Все кадровые решения в Synechron основаны на потребностях бизнеса, требованиях к работе и индивидуальных квалификациях, независимо от пола, гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, статуса инвалида или ветерана заявителя, или любых других характеристик, защищенных законом.

Уведомление о подаче заявки кандидатом