Site Reliability Engineer - Data Engineering

Присоединяйтесь к нашей динамичной и влиятельной команде инженеров по работе с данными, где вы будете отвечать за наши масштабные платформы сбора, хранения, доступа и обработки данных. Работа включает в себя безопасную и надежную эксплуатацию платформы, а также проекты по развитию и расширению ее возможностей. Это критически важная роль в организации, поскольку платформа данных обеспечивает широкий спектр анализа, моделирования, отчетности и получения аналитических данных для трейдеров. Вы присоединитесь к растущей команде из четырех человек в Сиднее, которая является частью более крупной команды APAC Data Team, и будете сотрудничать с коллегами в Чикаго, Мумбаи и Амстердаме. IMC — это основанная на исследованиях торговая фирма, где количественное моделирование, машинное обучение и инженерия определяют, как торгуются современные рынки. Будучи стабилизирующей силой на рынках с 1989 года, мы обеспечиваем ликвидность на торговых площадках, предоставляя инвесторам наилучшие результаты в области управления стоимостью и рисками. Используя собственные технологии и капитал, мы создаем проприетарные системы и алгоритмы, которые работают на глобальных рынках. Наши исследователи, трейдеры и инженеры работают сообща, сочетая быстрое экспериментирование, передовую инфраструктуру и обратную связь в реальном времени, чтобы превратить идеи в исполнение, а исполнение — в преимущество.

• Управление и мониторинг распределенных систем, инфраструктуры хранения данных и платформ обработки данных, включая Kafka, HDFS, Dremio и внутренние конвейеры данных
• Акцент на автоматизации систем и CI/CD для обеспечения быстрой установки аппаратных и программных решений
• Тесное сотрудничество с системными инженерами, сетевыми инженерами, трейдерами и разработчиками для поддержки и устранения их запросов
• Быть в курсе последних технологических тенденций в отрасли; предлагать, оценивать и внедрять инновационные решения

• Более 2 лет опыта управления крупномасштабной инфраструктурой данных объемом в несколько петабайт на аналогичной должности
• Знание администрирования и внутренней работы систем Linux, с подтвержденной способностью устранять проблемы в средах Linux
• Опыт работы как минимум с одной из следующих технологий: Kafka, HDFS, Kubernetes
• Рабочее знание Docker, Kubernetes и Helm
• Опыт работы с технологиями доступа к данным, такими как Dremio и Presto
• Знакомство с инструментами оркестровки рабочих процессов, такими как Airflow и Prefect
• Опыт работы с облачными платформами, такими как AWS, GCP или Azure