Senior Data Engineer

Мы ищем старшего инженера данных, чтобы присоединиться к нашей растущей команде данных и взять на себя ответственность за наше хранилище финансовых данных, платформу потоковой передачи данных в реальном времени и инициативы по управлению данными.

Вы будете работать над архитектурой DWH, потоковой передачей в реальном времени, качеством данных и моделированием финансовых данных, поддерживая критически важные сценарии использования, связанные с рисками, транзакциями и бизнес-аналитикой.

• Проектировать и разрабатывать хранилище финансовых данных, охватывающее уровни ODS, DWD, DWS и ADS
• Создавать масштабируемые модели данных для доменов пользователей, транзакций, погашений и рисков
• Проектировать и разрабатывать конвейеры данных в реальном времени с использованием Kafka и Flink
• Поддерживать функции оценки рисков в реальном времени, мониторинг транзакций и операционные панели
• Обеспечивать согласованность между пакетными и потоковыми данными в реальном времени посредством унифицированных архитектур
• Создать единый источник достоверной информации (SSOT) для ключевых бизнес-KPI
• Разрабатывать фреймворки для управления данными, метаданными и качеством данных
• Внедрять автоматизированный мониторинг и проверки качества для пакетных и потоковых конвейеров

• Более 5 лет опыта работы в области инжиниринга данных / Big Data
• Значительный практический опыт работы с Hive, Spark и Flink
• Глубокое понимание архитектуры DWH и многоуровневой структуры ODS / DWD / DWS / ADS
• Опыт работы с Kafka, Flink или аналогичными потоковыми технологиями в производственной среде
• Опыт работы с управлением состоянием, обработкой точно один раз (exactly-once) и обработкой данных, поступающих с задержкой
• Значительный опыт в ETL, моделировании данных и оптимизации
• Опыт разработки фреймворков для управления данными и обеспечения их качества
• Обязательно: Значительный опыт работы в банковской сфере, финтехе, платежных системах, кредитовании, выдаче кредитов или управлении финансовыми рисками
• Хорошее понимание процессов выдачи кредитов, погашений, просрочек и данных о рисках