Должность: Senior DataOps Engineer
Компания: N-iX
Местоположение: Азербайджан / Европа / Грузия / Турция / Украина / Азербайджан; Европа; Грузия; Турция; Украина
N-iX — глобальная компания по разработке программного обеспечения, основанная в 2002 году, объединяющая более 2400+ технических специалистов в 40+ странах. Мы предоставляем инновационные технологические решения в области облачных вычислений, анализа данных, ИИ, встраиваемого ПО, IoT и многого другого ведущим мировым компаниям и компаниям из списка Fortune 500. Присоединяйтесь к нам, чтобы создавать технологии, которые меняют бизнес и жизнь людей по всему миру.
Мы ищем Senior DataOps Engineer в команду.
Обзор клиента:
Наш клиент — азербайджанская телекоммуникационная компания, крупнейший оператор мобильной связи в Азербайджане. Основные продукты: фиксированная телефония, мобильная телефония, интернет-услуги, беспроводной широкополосный доступ и дополнительные услуги.
Цели проекта:
Основная цель — ускорение инициатив клиента в области данных и ИИ посредством безопасной гибридной облачной инфраструктуры на AWS при систематической модернизации ИТ-ландшафта в рамках миграции в облако.
Ключевые цели проекта включают:
- Основа облачной инфраструктуры и посадочная зона: Развертывание целевых гибридных сетевых архитектур, создание безопасной посадочной зоны и гибридных платформ данных/ИИ на AWS.
- Безопасность, соответствие требованиям и управление: Внедрение токенизации локальных данных (достижение нулевого содержания необработанных персональных данных в облаке), устранение блокирующих политик для включения AWS в ISMS и создание центра передового опыта в области облачных технологий (CCoE) для управления внедрением облачных технологий.
- Разработка и внедрение ИИ-чатбота и голосового бота: Разработка и внедрение флагманского чатбота и голосового бота для обслуживания клиентов в качестве первого потребителя гибридной установки.
Основные обязанности:
- Проектирование, внедрение и поддержка базовой платформы данных AWS, включая структуру озера Amazon S3, стандартизацию формата таблиц Apache Iceberg и интеграцию с AWS Glue Data Catalog.
- Создание и оптимизация масштабируемых конвейеров пакетной и потоковой обработки данных с использованием Amazon EMR (Serverless и EMR-on-EKS), Apache Spark/PySpark, Apache Flink и Amazon Athena с установкой лимитов стоимости рабочих групп.
- Внедрение конвейеров токенизации и деидентификации данных на стороне данных (PA-T) с использованием Protegrity/Spark UDF для пакетной обработки, Spark Streaming для микропакетной обработки и Kafka Connect SMT для маскирования персональных данных в потоковом режиме перед передачей в облако.
- Создание и управление архитектурами потоковой передачи в реальном времени с интеграцией Amazon MSK (Managed Streaming for Apache Kafka), MSK Replicator/MirrorMaker2 и Schema Registry.
- Внедрение архитектуры Medallion (слои Bronze, Silver, Gold) для моделирования данных lakehouse, автоматизация регистрации таблиц Iceberg и фреймворков обратной загрузки.
- Выполнение волн миграции данных для наборов данных, содержащих и не содержащих персональные данные, с использованием AWS DataSync, автоматизированных шагов регистрации и конфигураций миграции потоковой передачи.
- Настройка моделей управления доступом к данным и управления данными с использованием AWS Lake Formation, междвижковой авторизации, AWS Macie для обнаружения персональных данных и интеграции с Informatica Data Catalog (Axon, EDC, BDQ).
- Создание компонентов для автоматического обнаружения изменений схемы, интеграция конвейера CI/CD GitLab для синхронизации наборов данных и автоматизированных контрактов данных/автоматических выключателей.
- Внедрение наблюдаемости DataOps, централизация журналов через Amazon CloudWatch, настройка мониторинга затрат и аномалий FinOps, а также настройка автоматических оповещений.
- Создание технической документации, операционных руководств, процедур аварийного восстановления (DR) и сценариев перехода/отката для укрепления платформы данных.
Требования (обязательные технические навыки):
- Более 4 лет практического опыта работы в качестве Data Engineer или DataOps Engineer, создававшего корпоративные платформы и конвейеры данных.
- Глубокие знания стека AWS Data Analytics: Amazon S3, AWS Glue Data Catalog, AWS Lake Formation, Amazon EMR (EMR-on-EKS / Serverless), Amazon Athena, AWS DataSync и Amazon MSK.
- Владение Apache Spark / PySpark и Spark Streaming для пакетной, микропакетной и потоковой обработки данных.
- Значительный опыт проектирования и внедрения архитектуры Medallion Lakehouse (слои Bronze, Silver, Gold).
- Практический опыт внедрения масштабируемой токенизации и шифрования данных (например, Protegrity, Thales, FPE или конвейеры деидентификации на основе Spark UDF).
- Глубокие знания событийно-ориентированных архитектур и потоковой передачи: Apache Kafka / Amazon MSK, Kafka Connect (SMT), Schema Registry и MirrorMaker2 / MSK Replicator.
- Опыт работы с реляционными базами данных (Amazon RDS, PostgreSQL, Oracle) и методами синхронизации данных.
- Практический опыт работы с DataOps CI/CD и автоматизацией: GitLab CI/CD, Infrastructure-as-Code (Terraform / AWS CDK), обнаружение изменений схемы и проверка контрактов данных.
- Знание инструментов управления данными и корпоративных каталогов данных (например, Informatica Axon/EDC, AWS Lake Formation).
Желательные навыки:
- AWS Certified Data Analytics – Specialty или AWS Certified Data Engineer – Associate.
- Опыт работы с форматом таблиц Apache Iceberg, каталогизацией, компактированием и эволюцией схемы.
- Опыт работы с моделями данных телекоммуникационной отрасли, обработкой CDR и высокопроизводительной потоковой телеметрией в реальном времени.
- Опыт работы с облачной токенизацией/детокензацией через Athena UDF / AWS Lambda.
- Знание контейнеризации (Docker, EKS, Kubernetes) для сред обработки больших данных.
- Опыт работы с AWS Macie и фреймворками FinOps для распределения затрат/обнаружения аномалий.
Soft Skills и соответствие команде:
- Сильные навыки критического мышления, решения проблем и аналитические способности.
- Отличные коммуникативные навыки и навыки сотрудничества для тесной работы с кросс-функциональными командами (Data Science, Cloud/Platform, Security, Governance).
- Ориентация на результат, проактивный подход с высокой степенью ответственности за результаты в рамках Agile / Scrum.
- Английский язык на уровне Upper-Intermediate+ (письменный и устный).
Мы предлагаем:*
- Гибкий формат работы — удаленно, в офисе или гибкий график
- Конкурентная заработная плата и хороший компенсационный пакет
- Персонализированный карьерный рост
- Инструменты профессионального развития (программа наставничества, технические выступления и тренинги, центры передового опыта и т.д.)
- Активные технические сообщества с регулярным обменом знаниями
- Компенсация обучения
- Памятные подарки к годовщине
- Корпоративные мероприятия и тимбилдинги
- Другие льготы, специфичные для конкретного местоположения
*не применимо для фрилансеров
