Системный аналитик в сервис «Data Insight» Сбера для построения Data Lineage. Задача — провести PoC альтернативных решений для Apache Atlas, собрать требования и описать трансформацию сообщений в формат Openlineage.
Задачи:
- Анализ текущего решения (Apache Atlas) и сбор требований к новому
- Описание логики трансформации сообщений из формата Apache Atlas в формат Openlineage
- Валидация и проверка корректности сбора Data Lineage на новом решении
- Взаимодействие с командами разработки и архитекторами Big Data
Требования:
- Опыт работы в системной аналитике от 3-х лет
- Отличное знание SQL, умение писать сложные запросы для анализа данных
- Знание стека Hadoop (понимание работы HDFS, Spark, Hive)
- Опыт работы с форматами данных: json, xml, xsd, wsdl
- Понимание принципов работы интеграций: REST / SOAP
- Знание и практическое применение UML диаграмм, нотаций EPC и BPMN
Условия:
- Ставка: до 210 000 руб. на руки в месяц
- Грейд: Middle+ / Senior
- Загрузка: Full-time
- Формат: Удалённо
- Локация/Гражданство: РФ / РФ
- Аутстаффинговая позиция, рассматриваются кандидаты с релевантностью опыта от 85%
Навыки:
- SQL
- Hadoop
- HDFS
- Spark
- Hive
- Apache Atlas
- Openlineage
- Data Lineage
- json
- xml
- xsd
- wsdl
- REST
- SOAP
- UML
- EPC
- BPMN
- Oracle
- PostgreSQL
- Greenplum
- Data Governance
