Staff Engineer, Data Platform

DRW — это диверсифицированная торговая фирма с более чем 30-летним опытом объединения передовых технологий и выдающихся специалистов для работы на мировых рынках. Мы ценим автономию и способность быстро принимать решения для использования возможностей, поэтому мы оперируем собственным капиталом и торгуем на свой собственный риск.

Штаб-квартира DRW находится в Чикаго, с офисами по всей территории США, Канады, Европы и Азии. Мы торгуем различными классами активов, включая инструменты с фиксированным доходом, ETF, акции, валюту, сырьевые товары и энергоносители на всех основных мировых рынках. Мы также использовали наш опыт и технологии для расширения трех нетрадиционных направлений: недвижимость, венчурный капитал и криптоактивы.

Мы работаем с уважением, любознательностью и открытым мышлением. Люди, которые преуспевают у нас, разделяют нашу веру в то, что важны не только наши действия, но и то, как мы их совершаем. DRW — это место с высокими ожиданиями, честностью, инновациями и готовностью бросать вызов общепринятому мнению.

Наша организация Unified Platform (UP) создает и предлагает управляемые сервисы данных, общую инфраструктуру и системы управления метаданными, которые лежат в основе нашего общего слоя запросов и обеспечивают работу пакетных и потоковых конвейеров, обслуживающих команды по всей DRW.

В качестве инженера уровня Staff, специализирующегося на платформе данных, вы примените свой опыт масштабирования платформ данных для формирования и поддержания долгосрочного видения платформы данных DRW, преобразуя стратегию данных в инженерные продукты и управляемые сервисы, используемые трейдерами, количественными исследователями и сотрудниками бэк-офиса. Вы будете работать с командами, отвечающими за инструменты, производителей и потребителей, для согласования бизнес-приоритетов с техническим направлением и практической реализацией. Эта роль предполагает индивидуальный вклад, сочетающий стратегическое мышление, архитектурное лидерство, разработку программного обеспечения и наставничество, с ответственностью за технические инициативы, охватывающие несколько команд.

• Вносить вклад в общее видение платформы данных DRW и поддерживать его, руководя ее архитектурой и развитием для продвижения стратегии данных фирмы
• Работать с техническими руководителями, менеджерами по продуктам и заинтересованными сторонами для понимания бизнес-приоритетов и преобразования стратегии данных в инженерные продукты, возможности платформы, а также вносить вклад в поэтапный технический план
• Проектировать, руководить и создавать управляемые сервисы платформы для хранения данных, распределенного выполнения запросов, пакетной и потоковой обработки, а также оркестровки рабочих нагрузок, управляя их жизненным циклом от подготовки и обновлений до поддержки в производственной среде, совершенствуя управляемые предложения на основе отзывов от реальных пользователей
• Руководить реализацией в рамках различных команд, преобразуя неопределенные требования в практические проекты и измеримые результаты, одновременно балансируя между непосредственными бизнес-потребностями и долгосрочными целями платформы
• Инициировать архитектурные обзоры и принимать технические решения, документируя компромиссы и достигая консенсуса в отношении шаблонов, которые поддерживают видение платформы во всей экосистеме данных
• Отвечать за стратегию управления данными в больших масштабах и создавать возможности платформы для управления метаданными, их обнаружения, отслеживания происхождения, эволюции схем и качества данных. Взаимодействовать с представителями отделов безопасности и данных по вопросам контроля доступа и отслеживания использования
• Устранять неполадки распределенных систем, участвовать в поддержке производства и реагировании на инциденты, а также способствовать долгосрочным улучшениям посредством анализа первопричин, автоматизации и операционной документации
• Наставлять инженеров в разных командах посредством обзоров проектов, обзоров кода и практического сотрудничества, укрепляя инженерные практики и помогая другим брать на себя ответственность за сложные системы

• Обширный опыт проектирования, создания и эксплуатации крупномасштабных, интенсивных по данным распределенных систем, включая техническое руководство инициативами, охватывающими несколько команд
• Опыт координации с руководством инженерного отдела для ускорения реализации проектов на уровне команд и всей организации в рамках существующих процессов и практик
• Опыт преобразования стратегии данных или бизнеса в инженерные продукты и технические планы, а также способность согласовывать краткосрочные результаты с долгосрочным видением платформы
• Опыт создания и предложения управляемых сервисов платформы другим командам, отвечая за их подготовку, обновления, надежность и постоянную поддержку на протяжении всего жизненного цикла обслуживания, работая напрямую с пользователями для включения их требований и отзывов в решения по продуктам и планам
• Опыт масштабирования систем управления метаданными, таких как каталоги данных или системы отслеживания происхождения данных, охватывающих несколько технологий хранения и вычислений
• Экспертиза в Java и/или Python, с подтвержденной способностью поставлять высококачественное, поддерживаемое производственное программное обеспечение, а также глубокое знание SQL и сред Linux
• Глубокое понимание компромиссов в распределенных системах, включая согласованность, отказоустойчивость, параллелизм, секционирование и восстановление после частичных сбоев
• Опыт работы с пакетными и потоковыми системами обработки в больших масштабах, демонстрирующий практические знания управления состоянием, повторного воспроизведения, обратного давления и гарантий доставки
• Опыт развертывания технологий обработки данных и запросов, таких как Flink, Spark и ClickHouse, а также способность консультировать пользователей платформы по компромиссам производительности и эксплуатации между ними
• Опыт работы с различными технологиями хранения данных, включая объектное хранилище, реляционные базы данных или NoSQL базы данных, а также системы потоковой передачи событий, такие как Kafka. Глубокое понимание внутренних механизмов открытых форматов таблиц, таких как Iceberg или Delta Lake
• Обширный опыт моделирования данных, управления схемами и их эволюции, а также форматов и систем сериализации, таких как Arrow, Parquet, Protobuf или Avro
• Знакомство с построением и эксплуатацией облачной инфраструктуры данных, включая Kubernetes, оркестровку рабочих процессов, автоматизированное развертывание и мониторинг производства
• Отличные навыки письменного и устного общения, способность донести техническое видение, объяснить компромиссы, согласовать интересы заинтересованных сторон и руководить посредством влияния в глобально распределенной организации
• Сильное техническое суждение и навыки решения проблем, способность расставлять приоритеты между конкурирующими потребностями, осуществлять инкрементальную доставку в быстро меняющейся торговой среде и развивать других инженеров

Годовой базовый оклад для этой должности составляет от 200 000 до 275 000 долларов США в зависимости от опыта, квалификации и соответствующего набора навыков кандидата. Должность также дает право на получение ежегодного дискреционного бонуса. Кроме того, DRW предлагает комплексный пакет льгот для сотрудников, включая групповое медицинское страхование, страхование аптечных услуг, стоматологическое и офтальмологическое страхование, пенсионный план 401k (с возможным участием работодателя), страхование от краткосрочной и долгосрочной нетрудоспособности, страхование жизни и от несчастных случаев, сберегательные счета на медицинские расходы и гибкие сберегательные счета.