Senior Data Engineer

Должность: Инженер по работе с данными Местоположение: Азия (кроме Филиппин) / Куала-Лумпур

Присоединяйтесь к New Era Technology, где "Люди прежде всего" — это основа всего, что мы делаем. Имея глобальную команду из более чем 3000 профессионалов, мы стремимся создать рабочее место, где каждый чувствует себя ценным, уполномоченным и вдохновленным на рост. Наша миссия — безопасно соединять людей, места и информацию с помощью комплексных технологических решений в масштабе. В New Era вы присоединитесь к командной культуре, которая ставит в приоритет ваше личное и профессиональное развитие. Работайте бок о бок с сертифицированными экспертами отрасли, получайте доступ к непрерывному обучению и пользуйтесь конкурентными льготами. Руководствуясь нашими ключевыми принципами — "Люди прежде всего", принятие непрерывного обучения и процветание благодаря сотрудничеству и инклюзивности — мы развиваем наших сотрудников для предоставления исключительного обслуживания клиентов. Если вы хотите оказать влияние в поддерживающей, ориентированной на рост среде, New Era — это место для вас. Подайте заявку сегодня и помогите нам вместе формировать будущее работы.

🌟 Нанимаем: Старший инженер по работе с данными (Местоположение клиента) | New Era Technology 🌟 Местоположение клиента: Куала-Лумпур, Малайзия Компания: New Era Technology Тип работы: Полная занятость (на территории работодателя) Трудоустройство: Постоянное

🚀 О роли: New Era Technology ищет опытного Старшего инженера по работе с данными для работы у нашего престижного клиента в Малайзии, в их офисе в Куала-Лумпуре.

Краткое описание вакансии Мы ищем высококвалифицированного и опытного Старшего инженера по работе с данными, который присоединится к нашей команде Data & Analytics в страховой сфере. Успешный кандидат будет отвечать за проектирование, разработку и поддержку масштабируемых, безопасных и высокопроизводительных платформ данных, которые поддерживают корпоративную отчетность, аналитику, нормативные требования и принятие бизнес-решений.

Эта роль требует глубоких знаний в области облачных технологий AWS, архитектур озер данных и хранилищ данных, разработки ETL/ELT, инфраструктуры как кода (IaC), управления данными, аварийного восстановления и современных практик разработки программного обеспечения с использованием ИИ. Идеальный кандидат должен быть увлечен предоставлением надежных решений для данных, автоматизацией процессов, обеспечением стандартов качества данных и стимулированием инноваций с помощью новых технологий.

Ключевые обязанности

Разработка инжиниринга данных и платформ данных

• Проектировать, разрабатывать и поддерживать масштабируемые, надежные и безопасные конвейеры данных для поддержки корпоративных аналитических и отчетных инициатив.
• Создавать и оптимизировать процессы ETL/ELT для приема, преобразования и доставки данных из различных исходных систем в среды озера данных и хранилища данных.
• Проектировать, внедрять и поддерживать облачные нативные решения для данных на AWS.
• Разрабатывать масштабируемые пакетные и почти реального времени решения для обработки данных.
• Разрабатывать и поддерживать наборы данных Apache Iceberg для поддержки корпоративных аналитических нагрузок.
• Обеспечивать ежедневную загрузку данных из исходных систем в корпоративное озеро данных с точностью, полнотой и своевременностью.
• Отслеживать и устранять неполадки процессов приема данных и проактивно решать проблемы, связанные с данными.
• Проводить анализ первопричин и внедрять устойчивые решения для повторяющихся инцидентов.
• Оптимизировать производительность обработки данных, масштабируемость и операционную эффективность.
• Поддерживать корпоративную отчетность, аналитику и нормативные требования к данным.

Облачная платформа и инфраструктура AWS

• Проектировать, создавать и поддерживать платформы данных на основе AWS.
• Разрабатывать и поддерживать решения "Инфраструктура как код" (IaC) с использованием Terraform.
• Автоматизировать процессы подготовки сред, развертывания и операционные процессы.
• Внедрять фреймворки мониторинга, оповещения и операционной поддержки для обеспечения стабильности платформы и высокой доступности.
• Оптимизировать облачную инфраструктуру по производительности, безопасности, надежности и экономической эффективности.
• Поддерживать и улучшать конвейеры развертывания CI/CD и практики DevOps.

Аварийное восстановление и непрерывность бизнеса

• Участвовать в планировании, проверке и выполнении мероприятий по аварийному восстановлению (DR) для критически важных платформ и служб данных.
• Выполнять процедуры аварийного восстановления (DR), отработки отказа, отката и восстановления в рамках установленных требований к целевому времени восстановления (RTO) и целевой точке восстановления (RPO).
• Обеспечивать возможность восстановления и восстановления конвейеров данных, озер данных и хранилищ данных во время сценариев аварии.
• Поддерживать и регулярно обновлять документацию по аварийному восстановлению, руководства и процедуры восстановления.
• Сотрудничать с командами инфраструктуры, безопасности и приложений для обеспечения готовности к непрерывности бизнеса.

Управление данными и качеством данных

• Создавать и поддерживать средства проверки качества данных, сверки и мониторинга.
• Обеспечивать точность, согласованность, полноту и надежность данных на платформе данных.
• Поддерживать корпоративные инициативы по управлению данными с помощью AWS DataZone, включая управление метаданными, владение данными и обнаруживаемость данных.
• Сотрудничать с заинтересованными сторонами для определения и внедрения стандартов данных, политик управления и передовых практик.
• Обеспечивать соответствие корпоративным требованиям безопасности, конфиденциальности, нормативным требованиям и требованиям аудита.

Взаимодействие с заинтересованными сторонами

• Тесно сотрудничать с бизнес-аналитиками, аналитиками данных, разработчиками BI, архитекторами, владельцами продуктов и бизнес-заинтересованными сторонами для понимания и удовлетворения требований к данным.
• Транслировать бизнес-требования в масштабируемые технические проекты и модели данных.
• Предоставлять техническое лидерство и руководство по лучшим практикам инжиниринга данных.
• Партнерство с кросс-функциональными командами для постоянного совершенствования возможностей платформы данных.

Документация и передача знаний

• Создавать и поддерживать исчерпывающую техническую документацию, включая:
  • Документы по проектированию решений
  • Технические спецификации
  • Диаграммы потоков данных
  • Руководства
  • Руководства по поддержке
  • Операционные процедуры
  • Процедуры аварийного восстановления
• Проводить сессии по передаче знаний (KT) для обеспечения понимания членами команды реализованных решений, процессов и процедур поддержки.
• Продвигать обмен знаниями, инженерные стандарты и лучшие практики в команде.
• Наставлять младших инженеров и поддерживать развитие командных компетенций.

Требуемые квалификации

• Степень бакалавра в области компьютерных наук, информационных технологий, инжиниринга данных, инженерии, информационных систем или смежной области.
• Минимум 3 года опыта работы в области инжиниринга данных, хранилищ данных, инжиниринга платформ данных или смежных областях.
• Глубокий практический опыт в:
  • SQL
  • Python
  • PySpark
  • Terraform
• Богатый опыт работы с сервисами AWS, включая:
  • AWS Glue
  • Amazon Redshift
  • Amazon S3
  • Amazon RDS
  • Amazon SNS
  • AWS Step Functions
  • Amazon CloudWatch
  • AWS IAM
  • Amazon EventBridge
  • AWS DataZone
• Опыт проектирования и поддержки корпоративных решений по озерам данных и хранилищам данных.
• Опыт работы с таблицами Apache Iceberg и платформами для обработки больших объемов данных.
• Глубокое понимание методологий ETL/ELT, моделирования данных и методов интеграции данных.
• Опыт внедрения "Инфраструктура как код" (IaC) с использованием Terraform.
• Глубокое понимание облачной безопасности, разрешений IAM и принципов контроля доступа.
• Опыт планирования, выполнения и поддержки мероприятий по аварийному восстановлению (DR), включая тестирование отказоустойчивости, проверку восстановления и процессы обеспечения непрерывности бизнеса.
• Знание Agentic AI, Generative AI и практик разработки программного обеспечения с использованием ИИ.
• Опыт использования помощников по написанию кода на базе ИИ и современных рабочих процессов разработки с использованием ИИ для повышения производительности инженеров, ускорения доставки и улучшения качества кода.
• Сильные аналитические навыки, навыки решения проблем, устранения неполадок и коммуникации.
• Способность работать независимо и в команде в быстро меняющейся среде.

Предпочтительные квалификации

• Сертификаты AWS, такие как:
  • AWS Certified Data Engineer
  • AWS Certified Solutions Architect
  • AWS Certified Developer
  • AWS Certified Cloud Practitioner
• Опыт работы с Power BI.
• Знание SAP BusinessObjects (SAP BO).
• Опыт внедрения AWS DataZone и корпоративных фреймворков управления данными.
• Опыт работы с архитектурой Data Lakehouse.
• Знакомство с DevOps, CI/CD и практиками облачной автоматизации.
• Опыт работы в страховой или финансовой сфере.

Ключевые компетенции

• Превосходство в инжиниринге данных
• Облачные технологии AWS
• Архитектура озер данных и хранилищ данных
• Разработка ETL/ELT
• Apache Iceberg
• Инфраструктура как код (Terraform)
• AWS DataZone
• Управление данными и метаданными
• Аварийное восстановление и непрерывность бизнеса
• Инжиниринг данных с использованием ИИ
• Agentic AI и Generative AI
• Облачная безопасность и IAM
• Управление качеством данных
• Техническая документация
• Передача знаний и наставничество
• Управление заинтересованными сторонами
• Решение проблем и критическое мышление
• Постоянное совершенствование и инновации

Техническая среда

Облачная платформа

• AWS

Программирование и разработка

• SQL
• Python
• PySpark
• Terraform
• Git

Технологии данных

• Apache Iceberg
• Data Lake
• Data Warehouse
• Фреймворки ETL/ELT
• Data Governance

Аналитика и отчетность

• Power BI
• SAP BusinessObjects (SAP BO)

Новые технологии

• Agentic AI
• Generative AI
• AI-Assisted Software Development

Желательные технологии

• Архитектура Data Lakehouse
• Облачная автоматизация
• CI/CD Pipelines

👤 Предпочтительный кандидат: Гражданство: Предпочтение отдается гражданам Малайзии или лицам, имеющим вид на жительство в Малайзии. Наличие: Кандидаты, которые могут приступить к работе немедленно или с уведомлением за 30 дней.

📧 Как подать заявку: Отправьте ваше обновленное резюме на контакт рекрутера

New Era Technology, LLC. и ее дочерние компании ("New Era", "мы", "нас" или "наши") в своих операционных регионах по всему миру привержены уважению вашей конфиденциальности и признают необходимость надлежащей защиты и управления любыми персональными данными, которые вы можете нам предоставить. В связи с этим мы также стремимся обеспечить вам положительный опыт при использовании наших веб-сайтов и при использовании наших продуктов, услуг и решений ("Решения").

Мы никогда не просим кандидатов платить какие-либо сборы на любом этапе нашего процесса найма. Если вас когда-либо попросят произвести оплату за обучение, сертификацию, оборудование или по любой другой причине, это не от нашей компании. Доверяйте только сообщениям от наших официальных каналов компании. Обратите внимание, что наш официальный домен электронной почты — @neweratech.com. Если вы подозреваете мошенническую деятельность, немедленно свяжитесь с нами по адресу контакт рекрутера.