-Conducting analytics of new sources, replication of automated systems (AS). (Hadoop, spark)
-Developing data marts
-Building prototypes, transferring prototypes to development. (SQL)
-Maintaining current functionality, improving current functionality within new requirements
-Forming data quality control checks
Requirements
-Solid knowledge of SQL (HQL). Window functions, multiple joins, CTE, optimization
-Experience with Hadoop, HDFS, Hive, YARN, Spark (understanding how data is physically stored in Hadoop, table partitioning, etc.)
-Experience with big data (from 10 million records per partition)
-Experience with banking data (General understanding of bank products)
Benefits
Full-time
Work format: office (Moscow)
Лига Цифровой ЭкономикиData Engineer
Полная занятость
Формат работы: офис (Москва)
☑️ Чем предстоит заниматься
-Проводить аналитику новых источников, реплику автоматизированных систем (АС). (Hadoop, spark)
-Разрабатывать витрины данных
-Строить прототипы, передавать прототипы в разработку. (SQL)
-Поддерживать текущий функционал, дорабатывать текущий функционал в рамках новых требований
-Формировать проверки контроля качества данных
☑️ Наши пожелания к кандидатам
-Уверенное знание SQL (HQL). Оконные функции, multiple join, cte, оптимизация
-Опыт работы с hadoop, hdfs, hive, yarn, spark (понимание как физически лежат данные в hadoop, партиционирование таблиц и т.д.)
-Опыт работы с большими данными (от 10млн записей в партиции)
-Опыт работы с банковскими данными (Общее понимание продуктов банка)
