Senior Data Engineer, Unified Platform

DRW — это диверсифицированная торговая фирма с более чем 30-летним опытом, объединяющая передовые технологии и выдающихся специалистов для работы на мировых рынках. Мы ценим автономию и способность быстро адаптироваться для использования возможностей, поэтому мы работаем на собственный капитал и торгуем на свой страх и риск.

Штаб-квартира компании находится в Чикаго, а офисы расположены по всей территории США, Канады, Европы и Азии. Мы торгуем различными классами активов, включая фиксированный доход, ETF, акции, валюту, сырьевые товары и энергоносители на всех основных мировых рынках. Мы также использовали наш опыт и технологии для расширения в трех нетрадиционных направлениях: недвижимость, венчурный капитал и криптоактивы.

Мы работаем с уважением, любознательностью и открытым мышлением. Люди, которые преуспевают здесь, разделяют нашу убеждение, что важны не только наши действия, но и то, как мы их совершаем. DRW — это место высоких ожиданий, честности, инноваций и готовности ставить под сомнение общепринятое мнение.

Команда Data Ecosystem является важной частью организации Unified Platform (UP) в DRW, создавая платформенные возможности, управляемую инфраструктуру и системы управления метаданными, которые лежат в основе нашего общего слоя запросов и обеспечивают работу тысяч пакетных и потоковых конвейеров, доставляющих данные по всей DRW.

В качестве старшего инженера по данным в нашей организации Unified Platform вы будете проектировать, создавать и эксплуатировать платформу данных и управляемые сервисы, используемые трейдерами, количественными исследователями и сотрудниками бэк-офиса. Вы будете отвечать за инженерные проекты и компоненты сервисов, работать непосредственно с пользователями платформы для решения технических проблем и вносить вклад в возможности управления метаданными и их соответствия политикам. Это практическая роль, сочетающая ответственность за технический дизайн, разработку программного обеспечения, поддержку эксплуатации и наставничество в рамках общей архитектуры платформы.

• Проектирование, создание и эксплуатация управляемых платформенных сервисов для хранения данных, распределенной обработки запросов, пакетной и потоковой обработки, а также оркестрации рабочих нагрузок
• Ответственность за технический дизайн и принятие решений по реализации сервисов и компонентов в рамках общей архитектуры платформы, а также руководство их поставкой от требований до развертывания и поддержки
• Автоматизация предоставления ресурсов, настройки, обновлений и мониторинга управляемых сервисов, сокращение ручных операций и повышение согласованности развертываний
• Создание и интеграция инструментов управления метаданными, включая каталоги данных и отслеживание происхождения данных (lineage), чтобы помочь пользователям обнаруживать наборы данных и понимать их структуру, владельцев и зависимости
• Реализация управления схемами, проверок качества данных, контроля доступа и отслеживания использования в соответствии с установленными политиками, работая с сотрудниками отделов безопасности и отвечающими за данные над техническими требованиями
• Взаимодействие с пользователями управляемых сервисов для диагностики проблем интеграции и производительности, уточнения технических требований и улучшения сервисов, от которых зависят их рабочие нагрузки
• Повышение надежности и производительности управляемых сервисов и общей инфраструктуры обработки данных посредством наблюдаемости (observability), управления мощностями и тестирования. Участие в поддержке эксплуатации и реагировании на инциденты для этих сервисов, устранение первопричин и поддержание эксплуатационных руководств (runbooks)
• Выполнение обновлений платформы и миграций данных с соответствующими проверками валидации и совместимости для защиты нижестоящих рабочих нагрузок
• Руководство ревью дизайна и кода для сервисов, за которые вы отвечаете, документирование технических компромиссов и внесение улучшений в архитектурные шаблоны, общие для команды
• Наставничество менее опытных инженеров посредством практического сотрудничества и обратной связи, продвигая поддерживаемый код, автоматизированное тестирование и надежные эксплуатационные практики

• Более 7 лет опыта работы с современными технологиями обработки данных и/или создания распределенных систем, интенсивно использующих данные
• Экспертиза в Java и/или Python с подтвержденной способностью поставлять высококачественное, поддерживаемое производственное программное обеспечение, а также хорошее знание SQL, Bash и Linux-сред
• Опыт создания и эксплуатации управляемых сервисов данных или инфраструктуры, предлагаемых другим командам, включая автоматизацию эксплуатации и поддержку эксплуатации
• Подтвержденная ответственность за инженерные проекты или компоненты сервисов от технического дизайна до развертывания и текущей эксплуатации
• Глубокое понимание компромиссов распределенных систем, включая отказоустойчивость, параллелизм, секционирование и восстановление после частичных сбоев
• Производственный опыт работы с пакетными и потоковыми системами, включая практические знания управления состоянием, повторных попыток, повторного воспроизведения и согласованности данных
• Опыт работы с технологиями обработки данных или запросов, такими как Flink, Spark или ClickHouse, и способность оценивать их производительность и эксплуатационные компромиссы
• Опыт работы с различными технологиями хранения данных, включая объектное хранилище, реляционные базы данных или NoSQL базы данных, и системы потоковой передачи событий, такие как Kafka. Знакомство с открытыми форматами таблиц, такими как Iceberg или Delta Lake
• Практический опыт моделирования данных, управления и эволюции схем, а также контроля качества данных. Опыт интеграции управления метаданными, каталогизации данных или возможностей отслеживания происхождения данных в системы данных
• Опыт работы с форматами данных и системами сериализации, такими как Arrow, Parquet, Protobuf или Avro
• Опыт работы с облачной инфраструктурой данных, включая Kubernetes, оркестрацию рабочих процессов, автоматизированное развертывание и производственный мониторинг
• Отличные коммуникативные навыки и навыки решения проблем, способность устранять неполадки с пользователями платформы, сотрудничать между командами, приоритизировать конкурирующие задачи и работать в быстро меняющейся торговой среде

Годовой базовый оклад для этой должности составляет от 160 000 до 250 000 долларов США в зависимости от опыта кандидата, квалификации и соответствующего набора навыков. Должность также дает право на ежегодный дискреционный бонус. Кроме того, DRW предлагает комплексный пакет льгот для сотрудников, включая групповое медицинское страхование, страхование аптечных услуг, стоматологическое страхование и страхование зрения, 401k (с дискреционным соответствием работодателя), страхование от краткосрочной и долгосрочной нетрудоспособности, страхование жизни и от несчастных случаев (AD&D), сберегательные счета на медицинские нужды (HSA) и гибкие сберегательные счета (FSA).