Senior Data Engineer
Обзор проекта
Проект включает разработку и расширение централизованной, масштабируемой экосистемы данных. Успешно обработав первоначальный источник данных, команда переходит к фазе активного роста для интеграции множества ценных финансовых и операционных потоков данных. Цель состоит в том, чтобы предоставить топ-менеджерам и консультантам единый, надежный уровень отчетности для принятия стратегических решений.
Обзор позиции
В качестве старшего инженера по обработке данных вы будете техническим краеугольным камнем команды платформы данных. Вы будете отвечать за сквозную разработку конвейеров данных, от сбора до преобразования, обеспечивая оптимизацию хранилища Snowflake для сложной аналитики управления активами. Вы будете работать на стыке сложных финансовых данных и корпоративной разработки.
Эта позиция требует доступности, соответствующей часовому поясу EST, или, по крайней мере, 4-часового совпадения с рабочими часами EST (до 13:00 EST в регионах ЕС и APAC).
Обязанности
- Создание и поддержка масштабируемых конвейеров данных для загрузки в Snowflake.
- Разработка и управление преобразованиями с использованием dbt, включая моделирование, тестирование и исчерпывающую документацию.
- Проектирование и оркестрация сложных потоков данных с использованием Prefect.
- Использование Workato для интеграции и нормализации данных из критически важных SaaS-платформ, включая Addepar, NetSuite, Salesforce, Morningstar и UKG.
- Проектирование специализированных моделей данных, адаптированных для портфельной, клиентской и финансовой отчетности.
- Обеспечение лучшими практиками качества данных, их происхождения и управления, при одновременной оптимизации производительности и затрат в Snowflake.
- Сотрудничество с разработчиками Tableau и заинтересованными сторонами для согласования технических решений с потребностями в отчетности.
Требования
- Опыт работы в области инженерии данных более 5 лет с акцентом на создание современных платформ данных.
- Практический опыт работы со Snowflake и dbt, подкрепленный сильными навыками SQL и продвинутой экспертизой в области моделирования данных.
- Сертификация DBT.
- Доказанная осведомленность о паттернах ETL/ELT и сборе данных на основе API.
- Практический опыт работы с инструментами оркестрации, такими как Prefect или Airflow.
- Глубокое понимание структур финансовых данных или данных управления активами.
Приятно иметь
- Опыт поддержки требований к отчетности для слоев визуализации на основе Tableau.
- Опыт работы в секторе управления активами или инвестиционного управления, с особым знакомством с обработкой данных, связанных с инвестициями и портфелем.
- Понимание нормативных требований, касающихся обработки финансовых данных и конфиденциальности.
- Опыт интеграции поставщиков рыночных данных, таких как Bloomberg или Morningstar.
- Продвинутые навыки SQL и опыт работы с Python для задач инженерии данных.
