Title: Big Data Engineer – Java, Apache Spark, AWS EMR, Lambda, EKS & Airflow
Location: Chennai - Taramani (Ascendas)
Location: Chennai - Taramani (Ascendas)
Employment: Full time
Job Summary
Synechron ищет Big Data Engineer с опытом работы более 5 лет в проектировании, разработке и развертывании масштабируемых и надежных решений для обработки данных в AWS с использованием Java и Apache Spark. Эта роль будет сосредоточена на реализации конвейеров обработки больших данных с использованием Apache Spark на AWS EMR, разработке и развертывании бессерверных приложений с использованием AWS Lambda, использовании Amazon EKS для оркестрации контейнеров и управления микросервисами, а также проектировании оркестрации рабочих процессов с использованием Apache Airflow. Эта должность будет способствовать достижению бизнес-целей путем предоставления надежных, масштабируемых и поддерживаемых решений для обработки данных, которые поддерживают эффективные операции с данными и сервисы приложений.
Software Requirements
Required
- Java: Глубокий практический опыт в разработке на Java.
- Apache Spark: Владение Apache Spark для распределенной обработки данных.
- AWS EMR: Опыт реализации конвейеров обработки больших данных с использованием Apache Spark на AWS EMR.
- AWS Lambda: Опыт разработки и развертывания бессерверных приложений с использованием AWS Lambda.
- AWS Service Integration: Опыт интеграции AWS Lambda с другими сервисами AWS.
- Amazon EKS: Опыт использования Amazon EKS для оркестрации контейнеров и управления микросервисами.
- Apache Airflow: Опыт проектирования и реализации оркестрации рабочих процессов для сложных конвейеров данных.
- AWS: Опыт проектирования, разработки и развертывания масштабируемых и надежных решений для обработки данных в AWS с использованием Java и Spark.
- Project-Supported Versions: Способность работать с версиями Java, Apache Spark, сервисов AWS и связанных инструментов, поддерживаемых проектом.
Preferred
Дополнительные предпочтительные навыки в области программного обеспечения в требованиях не указаны. Дополнительный опыт, относящийся к Java, Apache Spark, AWS, AWS EMR, AWS Lambda, Amazon EKS или Apache Airflow, может считаться полезным.
Overall Responsibilities
- Проектировать, разрабатывать и развертывать масштабируемые и надежные решения для обработки данных в AWS с использованием Java и Apache Spark.
- Реализовывать и поддерживать конвейеры обработки больших данных с использованием Apache Spark на AWS EMR.
- Разрабатывать и развертывать бессерверные приложения с использованием AWS Lambda и интегрировать их с другими сервисами AWS.
- Использовать Amazon EKS для оркестрации контейнеров и управления микросервисами.
- Проектировать, реализовывать и поддерживать рабочие процессы Apache Airflow для сложных конвейеров данных.
- Разрабатывать поддерживаемые приложения на Java и компоненты обработки данных, соответствующие техническим требованиям.
- Участвовать в проектировании решений, технических обсуждениях и принятии решений по реализации в рамках согласованных проектных стандартов.
- Тестировать, устранять неполадки и решать проблемы, связанные с приложениями, конвейерами, интеграцией и развертыванием.
- Поддерживать надежную работу решений для обработки данных в соответствующих средах разработки, тестирования и эксплуатации.
- Отслеживать поведение приложений и конвейеров и способствовать повышению масштабируемости, надежности и поддерживаемости.
- Сотрудничать с командами инженеров, архитекторов, QA и доставки для уточнения требований и координации мероприятий по реализации.
- Участвовать в обзорах кода, технической документации, мероприятиях по выпуску и обмене знаниями.
- Применять соответствующие практики защиты данных и облачной безопасности при разработке и развертывании.
- Эффективно использовать ресурсы AWS и учитывать устойчивые практики, которые сокращают ненужное потребление вычислительных ресурсов, хранилищ и сетевых ресурсов.
- Выполнять назначенную работу в соответствии с согласованными приоритетами, сроками и ожиданиями по качеству.
Technical Skills (By Category)
Programming Languages
Essential
- Глубокий практический опыт в разработке на Java.
- Способность разрабатывать чистый, модульный, повторно используемый и поддерживаемый код на Java.
- Опыт использования Java для разработки решений по обработке данных и поддержки компонентов приложения.
- Способность отлаживать код на Java и решать проблемы, связанные с функциональностью, интеграцией и развертыванием.
Preferred
Дополнительный опыт работы с языками, используемыми в инженерии данных, может быть полезен.
Databases and Data Management
Essential
- Опыт реализации конвейеров обработки больших данных.
- Понимание распределенной обработки данных с использованием Apache Spark.
- Способность проектировать рабочие процессы обработки данных, обеспечивающие надежность и масштабируемость.
- Способность управлять выполнением конвейера, зависимостями и сбоями обработки.
Preferred
Дополнительный опыт работы с хранением, преобразованием, проверкой или интеграцией данных может быть полезен.
Cloud Technologies
Essential
- Опыт проектирования, разработки и развертывания решений для обработки данных в AWS.
- Опыт работы с AWS EMR для обработки больших данных на основе Apache Spark.
- Опыт работы с AWS Lambda для разработки и развертывания бессерверных приложений.
- Опыт интеграции AWS Lambda с другими сервисами AWS.
- Опыт использования Amazon EKS для оркестрации контейнеров и управления микросервисами.
- Опыт использования поддерживаемых проектом конфигураций и версий сервисов AWS.
Preferred
Дополнительный опыт, связанный с обработкой данных и развертыванием приложений на основе AWS, может быть полезен.
Frameworks and Libraries
Essential
- Apache Spark: Владение распределенной обработкой данных.
- Apache Airflow: Опыт проектирования и реализации оркестрации рабочих процессов для сложных конвейеров данных.
- Опыт интеграции Apache Spark с AWS EMR.
- Опыт использования фреймворков и библиотек, совместимых с поддерживаемыми проектом версиями Java, Spark и AWS.
Preferred
Дополнительный опыт разработки повторно используемых компонентов обработки данных может быть полезен.
Development Tools and Methodologies
Essential
- Опыт жизненного цикла проектирования, разработки и развертывания решений для обработки данных.
- Опыт развертывания и поддержки приложений и конвейеров в средах AWS.
- Способность устранять неполадки конвейеров данных, бессерверных приложений, контейнеризованных сервисов и процессов рабочих процессов.
- Способность документировать технические решения, рабочие процессы и мероприятия, связанные с развертыванием.
- Способность сотрудничать с соответствующими техническими специалистами и заинтересованными сторонами.
Preferred
Дополнительные инструменты или методологии разработки в требованиях не указаны. Опыт автоматизированного тестирования, развертывания или мониторинга может быть полезен.
Security Protocols
Essential
- Понимание практик безопасной разработки для облачных приложений и решений для обработки данных.
- Осведомленность о соответствующем контроле доступа к сервисам AWS и развернутым приложениям.
- Способность защищать данные во время обработки, передачи и хранения.
- Способность безопасно управлять конфигурацией приложений и учетными данными.
- Способность применять безопасные практики ведения журналов и обработки ошибок.
Preferred
Конкретные дополнительные протоколы безопасности в требованиях не указаны. Опыт работы с элементами управления облачной безопасностью для бессерверных, контейнеризованных и распределенных решений для обработки данных может быть полезен.
Experience Requirements
- Более 5 лет опыта в области Big Data Engineering, разработки на Java, облачной инженерии или смежной технической роли.
- Опыт проектирования, разработки и развертывания масштабируемых и надежных решений для обработки данных в AWS с использованием Java и Apache Spark.
- Опыт реализации конвейеров обработки больших данных с использованием Apache Spark на AWS EMR.
- Опыт разработки и развертывания бессерверных приложений с использованием AWS Lambda и их интеграции с другими сервисами AWS.
- Опыт использования Amazon EKS для оркестрации контейнеров и управления микросервисами.
- Опыт проектирования и реализации оркестрации рабочих процессов с использованием Apache Airflow для сложных конвейеров данных.
- Глубокий практический опыт в разработке на Java и владение Apache Spark для распределенной обработки данных.
- Опыт работы с сервисами AWS, включая EMR, Lambda, EKS и Airflow.
- Опыт поддержки развертывания, устранения неполадок и обслуживания решений для обработки данных на основе AWS имеет отношение к данной роли.
- Кандидаты могут претендовать на эту должность, имея эквивалентный опыт в инженерии данных на основе Java, распределенной обработке данных, облачной инженерии AWS или разработке облачных приложений, который демонстрирует требуемые возможности.
Day-to-Day Activities
- Разрабатывать, тестировать и развертывать конвейеры обработки данных на Java и Apache Spark на AWS EMR и устранять неполадки конвейеров.
- Создавать и поддерживать приложения AWS Lambda, сервисы Amazon EKS и рабочие процессы Apache Airflow в сотрудничестве с техническими командами.
- Участвовать в технических обсуждениях, обзорах требований, обзорах кода, совещаниях по планированию, устранении дефектов и мероприятиях по выпуску.
- Принимать решения по реализации в рамках согласованных технических стандартов и стандартов безопасности, документировать результаты и сообщать о прогрессе, рисках и зависимостях.
Qualifications
- Предпочтительно наличие степени бакалавра в области компьютерных наук, информационных технологий, инженерии или смежной области; эквивалентный релевантный опыт может быть учтен.
- Сертификаты AWS, Java, Apache Spark, инженерии данных или смежных технических дисциплин предпочтительны, но не обязательны.
- Требуется практическое обучение или продемонстрированный опыт работы с Java, Apache Spark, AWS EMR, AWS Lambda, Amazon EKS и Apache Airflow.
- Обучение или опыт работы с распределенными системами, бессерверными приложениями, оркестрацией контейнеров и облачной обработкой данных полезен.
- Ожидается приверженность непрерывному профессиональному развитию в области Java, Apache Spark, сервисов AWS, Apache Airflow и смежных практик инженерии данных.
Professional Competencies
- Применяет критическое мышление для понимания требований к обработке данных и проектирования масштабируемых и надежных технических решений.
- Использует структурированное решение проблем для устранения сбоев конвейеров, дефектов приложений, проблем интеграции и проблем развертывания.
- Эффективно сотрудничает с командами инженеров, архитекторов, QA и доставки и способствует достижению общих технических результатов.
- Четко сообщает о решениях по реализации, прогрессе, рисках, зависимостях и технических проблемах соответствующим заинтересованным сторонам.
- Адаптируется к развивающимся технологиям Java, Apache Spark, AWS, бессерверным технологиям, оркестрации контейнеров и оркестрации рабочих процессов.
- Управляет приоритетами, техническими зависимостями и сроками доставки, поддерживая качество, надежность и поддерживаемость решений.
SYNECHRON’S DIVERSITY & INCLUSION STATEMENT
Diversity & Inclusion — фундаментальная часть нашей культуры, и Synechron гордится тем, что является местом работы, предоставляющим равные возможности, и работодателем, проводящим позитивную дискриминацию. Наша инициатива DEI «Same Difference» направлена на создание инклюзивной культуры — продвижение равенства, разнообразия и уважительной среды для всех. Мы твердо верим, что разнообразный кадровый состав помогает строить более сильные, успешные компании как глобальная организация. Мы приглашаем кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности. Мы расширяем возможности наших сотрудников по всему миру, предлагая гибкие условия работы, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое.
Все решения о найме в Synechron основаны на потребностях бизнеса, требованиях к работе и квалификации отдельных лиц, независимо от пола, гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, статуса инвалида или ветерана, или любой другой характеристики, защищенной законом.
Candidate Application Notice
