Senior Data Engineer

В Kpler мы помогаем нашим клиентам с легкостью ориентироваться в сложных рынках. Упрощая информацию о мировой торговле и предоставляя ценные сведения, мы даем организациям возможность принимать обоснованные решения в сферах сырьевых товаров, энергетики и морского транспорта.

С момента основания в 2014 году мы сосредоточены на предоставлении первоклассной аналитики через удобные платформы. Наша команда из более чем 850 экспертов из 69 стран неустанно работает над преобразованием сложной информации в действенные стратегии, гарантируя, что наши клиенты остаются впереди в динамичной рыночной среде. Присоединяйтесь к нам, чтобы использовать передовые инновации для достижения значимых результатов и получить беспрецедентную поддержку на вашем пути к успеху.

О роли

В качестве Senior Data Engineer в нашей команде Maritime Models вы будете нести техническую ответственность за основные конвейеры данных и распределенные архитектуры хранения, которые обеспечивают работу систем отслеживания судов и предиктивной аналитики Kpler. Вы будете проектировать, масштабировать и оптимизировать пакетные и потоковые конвейеры с высокой пропускной способностью, которые принимают необработанные морские телеметрические данные и преобразуют их в действенные сведения. Работая с распределенными NoSQL системами, такими как Apache HBase, в больших масштабах, ваша работа напрямую обеспечивает свежесть, точность и надежность моделей данных, на которые полагаются наши глобальные клиенты.

Ключевые обязанности

• Архитектура, создание и эксплуатация пакетных и потоковых конвейеров данных с высокой пропускной способностью с использованием Java, Python, Apache Kafka, Apache Flink и Airflow.
• Проектирование, настройка и обслуживание масштабируемых распределенных NoSQL баз данных, уделяя особое внимание производительности Apache HBase для обработки больших объемов временных рядов морских телеметрических данных.
• Обеспечение сквозного операционного совершенства в контейнеризованных облачных средах на AWS с использованием Kubernetes, Docker, Terraform и GitOps рабочих процессов.
• Определение и обеспечение соблюдения метрик надежности системы, мониторинг задержек конвейера, полноты данных и времени безотказной работы для соответствия строгим операционным SLA.
• Сотрудничество с Data Scientists, Product Managers и SRE командами для преобразования сложных требований к морскому моделированию в надежную инфраструктуру производственного уровня.
• Менторство коллег-инженеров, обеспечение стандартов ревью кода и использование современных инструментов разработки с ИИ (Copilot, Cursor, Claude) для повышения продуктивности команды.

Опыт и образование

Что вам понадобится (Обязательно)

• Более 5 лет профессионального опыта в качестве Data Engineer, занимающегося проектированием, масштабированием и поддержкой конвейеров данных производственного уровня.
• Глубокий практический опыт работы с распределенными NoSQL хранилищами данных, в частности Apache HBase, для хранения больших объемов временных рядов и оптимизации запросов.
• Сильное владение программной инженерией с использованием Java и Python.
• Подтвержденный опыт работы с инструментами потоковой обработки и оркестрации, такими как Apache Kafka, Apache Flink и Apache Airflow.
• Прочный опыт эксплуатации контейнеризованных сервисов в облачных средах AWS с использованием Docker, Kubernetes и Terraform.

Желательно

• Опыт работы с реляционными базами данных, такими как PostgreSQL.
• Опыт работы с технологиями геопространственных данных (например, GeoServer) или алгоритмами пространственного индексирования.
• Опыт работы с инструментами разработки программного обеспечения с поддержкой ИИ, такими как Copilot, Cursor или Claude Code.
• Знание предметной области, связанной с отслеживанием морских судов, телеметрией AIS или логистикой цепочек поставок.

Мы динамичная компания, стремящаяся налаживать связи и разрабатывать инновационные решения для решения рыночных задач. Если вы цените удовлетворенность клиентов и превращаете идеи в реальность, то вы нашли свое идеальное место. Готовы ли вы отправиться с нами в это захватывающее путешествие?

Мы добиваемся результатов

Мы действуем решительно и целенаправленно, прилагая дополнительные усилия.

Мы строим вместе

Мы налаживаем отношения и разрабатываем творческие решения для решения рыночных задач.

Мы здесь, чтобы помочь

Мы доступны и поддерживаем коллег и клиентов, проявляя дружелюбие.

Наша клятва сотрудникам

Не соответствуете всем требованиям? Исследования показывают, что женщины и представители цветных рас менее склонны подавать заявки, если они чувствуют, что не соответствуют 100% требованиям вакансии. Не позволяйте неуверенности в себе встать на вашем пути, мы будем рады услышать от вас! Мы понимаем, что опыт может принимать разные формы, и стремимся привнести новые точки зрения в команду.

Kpler стремится обеспечить справедливую, инклюзивную и разнообразную рабочую среду. Мы считаем, что разные точки зрения приводят к лучшим идеям, а лучшие идеи позволяют нам лучше понимать потребности и интересы нашего разнообразного, глобального сообщества. Мы приветствуем людей разного происхождения, опыта, способностей и взглядов и являемся работодателем, предоставляющим равные возможности.

Подавая заявку, я подтверждаю, что ознакомился и принимаю Уведомление о конфиденциальности персонала