Название: Data Engineer
Местоположение: Бангалор - Танисандра (BCIT)
Местоположение: Бангалор - Танисандра (BCIT)
Занятость: Полная
Роль: Старший Data Engineer
Обзор роли:
Опытный Data Engineer для анализа, проектирования и разработки корпоративных пайплайнов данных в унаследованных и стратегических облачных платформах данных.
Ключевым компонентом должности является анализ существующих пайплайнов данных, в частности пайплайнов Spark на базе Omnia, понимание лежащей в их основе бизнес-логики и логики преобразований, а также перевод этой логики в масштабируемые решения для данных на современных облачных платформах. Роль требует обширного практического опыта работы с AWS, Snowflake, dbt, Airflow, PySpark, Python и продвинутым SQL.
Техническая экспертиза:
- Обширный практический опыт проектирования, разработки и поддержки масштабируемых корпоративных пайплайнов данных.
- Обширный опыт Spark-etl, включая способность анализировать существующие пайплайны Omnia, понимать их логику обработки и выводить новые правила преобразований и бизнес-правила.
- Глубокие практические знания сервисов AWS, включая S3, Glue, EMR, Lambda, Athena, Step Functions, SQS, IAM, Secrets Manager и CloudWatch, в сочетании с практическим опытом оркестрации пайплайнов данных с использованием Apache Airflow.
- Практический опыт работы с Snowflake, охватывающий ввод данных, моделирование данных, преобразование и оптимизацию производительности.
- Опыт использования dbt для разработки моделей данных, инкрементальной обработки, повторно используемых макросов, автоматизированных тестов, документирования и управления зависимостями.
- Отличное знание SQL, с опытом сложных преобразований данных, оптимизации запросов, сверки и понимания существующей бизнес-логики.
- Знакомство с Git, автоматизированным тестированием, CI/CD, Jenkins и практиками DevSecOps в среде разработки данных.
- Хорошие навыки программирования на Python для обработки данных, автоматизации и создания повторно используемых компонентов фреймворка.
- Предыдущий опыт CBA, особенно с платформами данных Omnia или CBA и стандартами инжиниринга, является очень желательным.
Ключевые обязанности:
- Проводить детальный анализ существующих сквозных пайплайнов данных на различных платформах, с особым акцентом на обработку на базе Omnia - PySpark.
- Анализировать существующий исходный код, SQL, правила преобразований, сопоставления и потоки данных для понимания текущей бизнес-логики и технической логики.
- Выводить, документировать и внедрять новую логику преобразований на основе анализа существующих пайплайнов и бизнес-требований.
- Проектировать, разрабатывать и поддерживать надежные, масштабируемые и повторно используемые пайплайны данных с использованием AWS, Snowflake и dbt.
- Разрабатывать пакетные, а при необходимости и событийно-ориентированные решения для обработки данных с использованием облачных и распределенных технологий обработки данных.
- Переводить существующую логику обработки данных Omnia в стратегические облачные решения для инжиниринга данных.
- Создавать пайплайны для ввода, преобразования, обогащения и интеграции данных в озерах данных, хранилищах данных и облачных платформах lakehouse.
- Разрабатывать сложные и оптимизированные по производительности SQL для преобразования данных, сверки, валидации и аналитической обработки.
- Анализировать сквозные потоки данных от сбора исходных данных до преобразования, обогащения и последующего потребления.
- Работать с дизайнерами данных, владельцами продуктов и экспертами для перевода бизнес-требований в технические правила обработки данных и долговечные инженерные решения.
- Внедрять элементы контроля качества данных, сверки и балансировки в пайплайны данных.
- Устранять сбои пайплайнов данных, проблемы преобразований, расхождения в данных и узкие места производительности в нескольких средах.
ЗАЯВЛЕНИЕ SYNECHRON О РАЗНООБРАЗИИ И ИНКЛЮЗИВНОСТИ
Разнообразие и инклюзивность являются основой нашей культуры, и Synechron гордится тем, что является рабочим местом с равными возможностями и работодателем, проводящим позитивную дискриминацию. Наша инициатива в области разнообразия, справедливости и инклюзивности (DEI) «Same Difference» направлена на создание инклюзивной культуры — продвижение равенства, разнообразия и уважительной среды для всех. Мы твердо верим, что разнообразный кадровый состав помогает строить более сильные, успешные компании как глобальная организация. Мы призываем к подаче заявок кандидатов из различных слоев общества, независимо от расы, этнической принадлежности, религии, возраста, семейного положения, пола, сексуальной ориентации или инвалидности. Мы расширяем возможности нашего глобального кадрового состава, предлагая гибкие условия труда, наставничество, внутреннюю мобильность, программы обучения и развития и многое другое.
Все кадровые решения в Synechron основаны на потребностях бизнеса, требованиях к работе и индивидуальных квалификациях, без учета пола, гендерной идентичности, сексуальной ориентации, расы, этнической принадлежности, статуса инвалида или ветерана кандидата, или любой другой характеристики, защищенной законом.
Уведомление о подаче заявки кандидатом
