Название: Старший инженер по работе с данными
Компания: Trust Wallet
Местоположение: Удаленно - Глобально / Удаленно
О компании
Trust Wallet — это безопасный кошелек Web3 с самостоятельным хранением, который позволяет людям владеть своими цифровыми активами и контролировать их. Независимо от того, являетесь ли вы новичком в криптовалюте или опытным пользователем, Trust Wallet делает исследование Web3, безопасный доступ к dApps, управление криптовалютой, а также покупку и продажу цифровых активов более простым, безопасным и удобным — и все это в одном месте.
О РОЛИ
В качестве старшего инженера по работе с данными вы будете играть ключевую роль в создании и масштабировании платформы данных, которая обеспечивает аналитику для Trust Wallet. Вы будете отвечать за проектирование, разработку и поддержку конвейеров данных и моделей данных, обеспечивая бесперебойный, масштабируемый и надежный поток данных из исходных систем к принимаемым на их основе решениям. Используя ваш опыт работы с Databricks и Spark как с потоковыми, так и с пакетными рабочими нагрузками, dbt или аналогичной системой трансформации, облачной инфраструктурой и пользовательскими решениями на Python, вы будете тесно сотрудничать с нашими аналитиками данных и инженерными командами, чтобы превратить данные в стратегический актив для нашей компании.
ОСНОВНЫЕ ОБЯЗАННОСТИ
- Инженерия платформы данных: Архитектура и поддержка надежной, масштабируемой и безопасной инфраструктуры данных на Databricks, охватывающей как потоковые, так и пакетные рабочие нагрузки.
- Разработка конвейеров данных: Проектирование, разработка и поддержка конвейеров данных, в основном на Python и Spark, для автоматизации приема и трансформации данных из внутренних систем, внешних поставщиков и ончейн-источников.
- Моделирование данных: Проектирование и поддержка измерений и слоев трансформации в dbt с тестами и документированными контрактами, чтобы метрики были согласованными и переиспользуемыми по всей компании.
- Управление озером данных: Надзор за озером данных и слоями lakehouse, обеспечение эффективного хранения, эффективного разбиения на разделы, высокого качества данных, а также мониторинга и оповещения, которые позволяют рано выявлять проблемы.
- Интеграция и настройка: Интеграция Databricks с широким спектром источников данных, включая захват изменений данных из операционных баз данных, сторонних API и блокчейн-данных, а также адаптация потоков данных к конкретным потребностям бизнеса.
- Производительность, масштабируемость и стоимость: Оптимизация конвейеров и хранилищ для обеспечения производительности, надежности и экономической эффективности в масштабе.
- Управление данными и безопасность: Применение лучших практик управления, безопасности и соответствия требованиям в облачных средах и Databricks, включая контроль доступа, шифрование и мониторинг.
- Сотрудничество и документация: Тесное сотрудничество с инженерами платформы, аналитиками данных и другими заинтересованными сторонами для понимания требований к данным, а также документирование инфраструктуры, моделей и лучших практик.
ТРЕБОВАНИЯ К КАНДИДАТУРАМ
- Опыт работы инженером по работе с данными: более 3 лет работы инженером по работе с данными, с практическим опытом управления рабочими конвейерами и архитектурой lakehouse или data warehouse.
- Databricks и Spark: Сильный практический опыт работы с Databricks, Delta Lake и Spark, включая обработку как потоковых, так и пакетных данных, а также умение выбирать между ними.
- Моделирование данных: Глубокое понимание измерений, медленно меняющихся измерений и проектирования хранилищ данных, с возможностью определять и обосновывать зернистость создаваемых вами моделей.
- Системы трансформации: Опыт работы с dbt или эквивалентной системой для управления трансформациями, тестированием и отслеживанием происхождения данных.
- Облачные технологии: Сильные фундаментальные знания облачных технологий, включая управление удостоверениями и доступом, объектное хранилище, сети и инфраструктуру как код. Мы работаем на AWS; глубокий опыт работы с Azure или GCP также будет полезен.
- Владение Python и SQL: Уверенное владение написанием производственных трансформаций, а также сервисов и коннекторов.
- Качество данных и управление ими: Опыт внедрения практик тестирования, мониторинга и управления в облачных средах данных.
ПРЕДПОЧТИТЕЛЬНЫЕ НАВЫКИ
- Опыт захвата изменений данных и репликации из операционных баз данных
- Знакомство с блокчейном или ончейн-данными
- Инфраструктура как код, желательно Terraform, и CI/CD для рабочих нагрузок данных
- Опыт работы с BI и семантическими слоями, такими как Holistics, Looker или аналогичные
- Контейнеризация и оркестрация (Docker, Kubernetes)
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Это глобальная и полностью удаленная должность. Вы должны иметь право работать в стране вашего проживания.
ПОЧЕМУ СТОИТ РАБОТАТЬ В TRUST WALLET?
- Станьте частью ведущей мировой экосистемы блокчейна, которая продолжает расти.
- Превосходные возможности для обучения и карьерного роста.
- Работайте вместе с разнообразными специалистами мирового класса в среде, где возможности для обучения и роста безграничны.
- Участвуйте в быстро меняющихся, сложных и уникальных проектах.
- Работайте в по-настоящему глобальной организации с международными командами и плоской организационной структурой.
- Работайте полностью удаленно с гибким рабочим графиком.
- Наслаждайтесь конкурентоспособной заработной платой и льготами.
Подавайте заявку сегодня, чтобы присоединиться к нашей команде в создании самого надежного и безопасного крипто-кошелька в мире и обеспечить децентрализованное будущее для всех.
Trust Wallet стремится быть работодателем, предоставляющим равные возможности. Мы считаем, что разнообразный кадровый состав является основой нашего успеха.
*В связи с большим количеством заявок, считайте вашу заявку неуспешной, если вы не получите ответа в течение 4 недель с даты подачи заявки.