Site Reliability Engineer - Data Platform

Название: Инженер по надежности сайта - Платформа данных Местоположение: Амстердам / Амстердам, Нидерланды

IMC работает на передовом уровне использования технологий для создания конкурентного преимущества. Мы также быстро растем и имеем множество сложных технических задач. Мы ищем опытного SRE с сильным опытом управления распределенными системами данных как на bare metal Linux, так и на Kubernetes. Мы хотим, чтобы кто-то помог нам стандартизировать развертывания, повысить наблюдаемость и улучшить автоматизацию по мере масштабирования нашей платформы данных и других критически важных служб данных. Вы присоединитесь к нашей команде Data Platform, части нашей местной команды данных, которая создает и управляет системами, используемыми трейдерами, количественными исследователями и инженерными командами, для всех их потребностей в данных. Команда Data Platform отвечает за фундаментальную платформу, на которой построены наши фреймворки и инструменты для работы с данными. Это включает наблюдаемость, масштабируемость и поддержку стандартизированных развертываний. Ваши основные обязанности: В качестве SRE в IMC вы присоединитесь к подкоманде, которая играет центральную роль во всех потребностях в данных, и будете работать над: Проектирование, внедрение и эксплуатация наших платформ данных. Улучшение наблюдаемости, чтобы мы могли выявлять проблемы до наших пользователей. Создание автоматизации для сокращения рутинной работы и обеспечения масштабируемости наших систем. Поддержка и обеспечение надежности критически важных служб (например, HDFS, Kafka и Dremio). Управление долгосрочными архитектурными улучшениями, не просто решение проблем, а их предотвращение. Ваши навыки и опыт: Сильный опыт управления распределенными платформами данных (например, Kafka, Hadoop, Spark, Dremio); включая полную установку, отладку и настройку производительности. Практический опыт развертывания, настройки и оркестровки программного обеспечения на Linux и Kubernetes с подтвержденной способностью устранять проблемы в обеих средах. Сильный опыт работы с инфраструктурой как кодом (предпочтительно Ansible) и лучшими практиками. Уверенное программирование на Python. Способность читать, писать и оптимизировать SQL-запросы. Комфортно читать исходный код Java, настраивать и отлаживать работающие JVM. Знакомство с технологиями data lakehouse (например, Iceberg или Delta Lake), а также с технологиями движков запросов (например, Dremio, Presto или Trino). Опыт работы с инструментами оркестровки рабочих процессов, такими как Airflow или Dagster. Проактивное мышление: вы не просто решаете проблемы, а предотвращаете их. Комфортная работа в кросс-функциональных командах с минимальным надзором. Наш технологический стек: Инструменты для работы с данными: Hadoop (HDFS), Kafka, Dremio, Iceberg, Clickhouse, Spark, Airflow, Flink Автоматизация инфраструктуры: Ansible, Puppet, Kubernetes (ArgoCD, Helm, Kustomize) Наблюдаемость: Prometheus, Grafana, AlertManager Скриптинг: Python, Bash, SQL Другое: PCAP инфраструктура О нас IMC — это исследовательская торговая фирма, где количественное моделирование, машинное обучение и инженерия формируют способы торговли на современных рынках. Являясь стабилизирующей силой на рынках с 1989 года, мы обеспечиваем ликвидность на торговых площадках, достигая наилучших результатов в управлении стоимостью и рисками для инвесторов. Используя собственные технологии и капитал, мы создаем проприетарные системы и алгоритмы, которые работают на мировых рынках. Наши исследователи, трейдеры и инженеры работают как единое целое, сочетая быстрое экспериментирование, передовую инфраструктуру и обратную связь в реальном времени, чтобы превратить инсайт в исполнение, а исполнение — в преимущество.