GCP Big Data Engineer – Python, Spark, Dataflow, BigQuery & ETL/ELT

Название: GCP Big Data Engineer – Python, Spark, Dataflow, BigQuery & ETL/ELT Местоположение: 2 локации

Местоположение: Гуруграм Местоположение: Бангалор - Белландур (GTP) Занятость: Полная

Обзор вакансии Synechron ищет высококвалифицированного инженера данных, специализирующегося на Google Cloud Platform (GCP) и технологиях Big Data, для проектирования, разработки и оптимизации масштабируемых конвейеров данных и решений по управлению данными. Эта роль имеет решающее значение для поддержки корпоративных инициатив в области данных, обеспечения качества, безопасности и доступности данных для получения критически важных бизнес-инсайтов. Успешный кандидат будет сотрудничать с различными командами для продвижения инноваций в платформах данных и операционного совершенства в соответствии с целями организации.

Требования к программному обеспечению Обязательно: Обширный опыт работы с сервисами GCP, включая BigQuery, Dataflow, Cloud Storage и Cloud Pub/Sub Глубокое знание Apache Spark для распределенной обработки данных и аналитики Практический опыт создания и поддержки конвейеров данных с использованием процессов ETL/ELT Владение Python для скриптования данных, автоматизации и задач оркестрации Опыт работы с распределенным хранением и управлением данными, включая реляционные базы данных и базы данных NoSQL (PostgreSQL, MySQL, MongoDB) Знакомство с инструментами контроля версий, такими как Git Знание сред Linux/Unix для обработки данных и скриптования Предпочтительно: Опыт работы с лучшими практиками в области управления данными, метаданными и безопасности данных Знание инструментов оркестрации данных, таких как Apache Airflow или Prefect Понимание контейнеризации (Docker) и оркестрации (Kubernetes) для развертывания данных

Общие обязанности Проектирование, разработка и поддержка масштабируемых, отказоустойчивых конвейеров данных на GCP для поддержки корпоративных решений в области аналитики и отчетности Сотрудничество с бизнес-заинтересованными сторонами, специалистами по данным и аналитическими командами для понимания требований к данным и внедрения оптимизированных рабочих процессов обработки данных Внедрение и обеспечение соблюдения стандартов качества данных, безопасности и управления на всех платформах Оптимизация процессов приема, преобразования и обработки данных для обеспечения высокой производительности и экономической эффективности Проведение профилирования данных, устранения неполадок и решения проблем конвейера для обеспечения эксплуатационной надежности Быть в курсе новейших лучших практик, инструментов и отраслевых тенденций в области инженерии данных, возглавляя инициативы по постоянному совершенствованию

Технические навыки (по категориям) Языки программирования: Обязательно: Python для скриптования и оркестрации Предпочтительно: SQL, Java (для задач интеграции или обработки данных)

Базы данных и управление данными: BigQuery, PostgreSQL, MySQL, MongoDB, моделирование данных, безопасность данных и оптимизация запросов

Облачные технологии: Сервисы GCP, включая BigQuery, Dataflow, Cloud Storage, Pub/Sub, IAM и развертывание Cloud Function

Фреймворки и библиотеки: Apache Spark, Dataflow, Airflow (предпочтительно), TensorFlow или PyTorch (при вовлечении интеграций ML)

Инструменты разработки и оркестрации: Git, Jenkins, Docker, Kubernetes, Terraform, Apache Airflow и другие инструменты CI/CD

Безопасность и соответствие требованиям: Внедрение политик безопасности, шифрование данных, контроль доступа и стандарты соответствия, такие как GDPR или HIPAA

Требования к опыту Более 5 лет практического опыта в области инженерии данных со значительным акцентом на экосистемы GCP и Big Data Практический опыт проектирования и внедрения комплексных конвейеров данных и рабочих процессов в масштабе Подтвержденный опыт в области распределенной обработки данных, безопасности данных и автоматизации инфраструктуры Опыт работы в гибких командах, поддерживающих корпоративные или крупномасштабные платформы данных Отраслевой опыт в финансовом, медицинском, розничном или технологическом секторах является преимуществом

Повседневные задачи Разработка и оптимизация конвейеров данных, обеспечивающих высокую производительность, качество и безопасность данных Сотрудничество с командами аналитики, науки о данных и кросс-функциональными командами для преобразования бизнес-требований в масштабируемые решения для работы с данными Автоматизация рабочих процессов обработки данных, управление инфраструктурой как кодом и поддержка конвейеров развертывания Проведение профилирования данных и устранение неполадок для оперативного решения проблем конвейера Внедрение лучших практик безопасности для доступа к данным, шифрования и соответствия требованиям Документирование архитектуры, рабочих процессов, процедур и операционных руководств Участие в планировании спринтов, обзорах и инициативах по постоянному совершенствованию

Квалификация Степень бакалавра или магистра в области компьютерных наук, науки о данных, информационных технологий или смежной области Обширный опыт работы с GCP и фреймворками обработки больших данных, такими как Hadoop, Spark и Dataflow Сертификаты GCP (например, Professional Data Engineer), AWS или Azure являются плюсом Подтвержденная способность разрабатывать надежные, масштабируемые и безопасные конвейеры данных, поддерживающие корпоративную аналитику

Профессиональные компетенции Сильные аналитические навыки и навыки решения проблем, особенно связанных с распределенными системами данных Отличные навыки сотрудничества и общения для эффективной работы в командах и с заинтересованными сторонами Лидерские качества для руководства лучшими практиками в области инженерии данных и наставничества младших членов команды Стратегическое мышление для согласования разработки платформы данных с целями организации Непрерывное обучение для поддержания актуальности знаний о развивающихся технологиях данных и отраслевых стандартах Эффективные навыки управления временем для одновременного ведения нескольких проектов по работе с данными

ЗАЯВЛЕНИЕ SYNECHRON О РАЗНООБРАЗИИ И ВКЛЮЧЕНИИ Разнообразие и инклюзивность являются основополагающими для нашей культуры, и Synechron гордится тем, что является рабочим местом с равными возможностями и работодателем, применяющим позитивные действия. Наша инициатива в области разнообразия, равенства и инклюзивности (DEI) «Same Difference» направлена на содействие развитию инклюзивной культуры – продвижение равенства, разнообразия и уважительной среды для всех. Мы твердо убеждены, что разнообразный кадровый состав помогает строить более сильные, успешные компании как глобальная организация. Мы поощряем кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности, подавать заявки. Мы расширяем возможности нашего глобального персонала, предлагая гибкие условия работы, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое.

Все кадровые решения в Synechron основаны на потребностях бизнеса, требованиях к работе и индивидуальной квалификации, независимо от пола заявителя, его гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, инвалидности или статуса ветерана, или любой другой характеристики, защищенной законом.

Уведомление о подаче заявки кандидатом