Senior DevOps Engineer – PostgreSQL & Kafka on Kubernetes

Мы ищем инженера платформы данных уровня Senior (Senior Data Platform Engineer) для управления платформой PostgreSQL и Apache Kafka, лежащей в основе k0rdent-ai — нашей многопользовательской системы управления инфраструктурой GPU. Каждая развернутая кластерная конфигурация, каждый потребленный час GPU и каждое действие пользователя записываются на этой платформе, поэтому она должна быть надежной, безопасной и восстанавливаемой.

Это практическая DevOps / SRE роль для работы с stateful-системами. Вы будете развертывать и эксплуатировать PostgreSQL (CloudNativePG) и Kafka (Strimzi) на Kubernetes, используя операторы, Helm и GitOps — на облачных кластерах и bare-metal кластерах, в глобальной системе управления и в нескольких регионах. Вы будете отвечать за автоматизацию, обновления, наблюдаемость (observability), резервное копирование и аварийное восстановление, а также предоставлять командам разработчиков самообслуживаемый доступ к базам данных и темам через код.

Основные обязанности

Управление PostgreSQL и Kafka на Kubernetes: развертывание, обновление, масштабирование и эксплуатация кластеров CloudNativePG и Strimzi с помощью Helm-чартов и пользовательских ресурсов операторов, на облачных кластерах и bare-metal Kubernetes.

GitOps и Infrastructure as Code: декларативное управление всем с помощью Argo CD (или Flux), Helm и Terraform; создание CI/CD пайплайнов для изменений баз данных и Kafka, миграций схемы и обновлений операторов.

Высокая доступность и аварийное восстановление: проектирование и эксплуатация высокой доступности в каждом регионе и межрегионального аварийного восстановления — реплики кластеров PostgreSQL, резервное копирование и восстановление на определенный момент времени, Kafka MirrorMaker 2 — с определенными целевыми показателями RPO/RTO и регулярными учениями по переключению при сбое.

Платформа самообслуживания: предоставление командам разработчиков самообслуживаемого доступа к базам данных, пользователям, темам и ACL через код, с безопасными настройками по умолчанию и ограничениями.

Наблюдаемость и эксплуатация: создание систем мониторинга и оповещения (Prometheus, Grafana, OpenTelemetry) для отслеживания задержки репликации, резервных копий, задержки потребителей и емкости; участие в дежурствах и проведение обзоров инцидентов.

Безопасность и многопользовательский режим: реализация TLS/mTLS, управление секретами (Vault/OpenBao), сетевых политик, Kafka ACL и изоляции для каждого пользователя; интеграция доступа к базам данных и Kafka с нашей платформой идентификации (Keycloak / OIDC).

Перемещение данных и CDC: управление пайплайнами outbox и change-data-capture (Debezium, Kafka Connect), которые обеспечивают согласованность баз данных и потоков событий между глобальной системой управления и регионами.

Автоматизация и инструментарий: написание скриптов автоматизации и небольших сервисов на Go или Python для устранения ручной работы, а также партнерство с командами разработки по стандартам схемы и устранению проблем с производительностью.

Обязательные требования

Опыт: 8+ лет в DevOps, SRE, платформенной или инфраструктурной инженерии, включая 3+ года эксплуатации stateful-систем (баз данных или потоковой передачи сообщений) в производственной среде.

Kubernetes: уверенное практическое владение Kubernetes — StatefulSets, постоянные тома и классы хранения, бюджеты прерывания подов (Pod Disruption Budgets), планирование и привязка (scheduling and affinity), сетевые политики и обновления кластеров — на облачных кластерах и/или bare-metal кластерах.

Операторы и Helm: опыт эксплуатации PostgreSQL и/или Kafka через Kubernetes операторы (CloudNativePG, Zalando или Crunchy PGO; Strimzi, Confluent for Kubernetes или аналогичные) в производственной среде, а также создание и поддержка Helm-чартов. Глубокое знание одного оператора важнее конкретного продукта.

GitOps и IaC: ежедневное использование Argo CD или Flux, Terraform и CI/CD пайплайнов (GitHub Actions, GitLab CI или аналогичные) в декларативном рабочем процессе, основанном на рецензировании.

Эксплуатация PostgreSQL: практическое администрирование PostgreSQL — репликация и переключение при сбое, резервное копирование и восстановление на определенный момент времени, пулинг соединений (PgBouncer), обновления версий, устранение проблем с производительностью.

Эксплуатация Kafka: эксплуатация Kafka в производственной среде — брокеры, темы и разделы, репликация, группы потребителей, мониторинг и планирование емкости.

Надежность и аварийное восстановление: проектирование и тестирование высокой доступности и аварийного восстановления для stateful-систем с определенными RPO/RTO.

Автоматизация: сильное владение скриптовым языком и программированием на Go (предпочтительно) или Python, плюс Bash.

Желательно

Межрегиональная репликация (реплики кластеров CloudNativePG, Kafka MirrorMaker 2) и глобальные/региональные многосайтовые архитектуры.

Debezium, Kafka Connect и паттерны transactional outbox / CDC.

Интеграция идентификации для платформ данных (Keycloak, OIDC, LDAP/Active Directory).

Стеки наблюдаемости (Prometheus, Grafana, OpenTelemetry, VictoriaMetrics).

Инструменты для управления секретами и обеспечения безопасности (Vault/OpenBao, cert-manager, mTLS).

Bare-metal инфраструктура, Ceph или объектное хранилище, или инфраструктура GPU/AI.

Вклад в CloudNativePG, Strimzi или связанные с ними проекты с открытым исходным кодом.

Опыт работы в средах SOC 2 или ISO 27001.

Образование и опыт

Степень бакалавра в области компьютерных наук или смежной области, или эквивалентный практический опыт.

Что предлагает Mirantis?

• Работу с признанным лидером Кремниевой долины в области облачной инфраструктуры;
• Работу с исключительно увлеченными, талантливыми и вовлеченными коллегами, помогающими клиентам из Fortune 500 и Global 2000 внедрять облачные технологии следующего поколения;
• Участие в передовых инновациях с открытым исходным кодом;
• Процветание в высокоэнергетичной среде молодой компании, где ценятся открытость, сотрудничество, готовность к риску и постоянный рост;
• Профессиональное развитие и обучение;
• Посещение конференций и рабочих групп;
• Корпоративные мероприятия, вечеринки, хакатоны и технические беседы;
• Конкурентоспособный компенсационный пакет с сильным планом льгот.

Мы — лидер в области управления контейнерами по версии G2 (#2 после AWS)!

Mirantis, компания IREN, является компанией, специализирующейся на облачной инфраструктуре на основе Kubernetes, позволяющей организациям создавать и эксплуатировать масштабируемую, безопасную и суверенную инфраструктуру для современного ИИ, машинного обучения и интенсивных вычислительных приложений. Объединяя инновации с открытым исходным кодом и глубокую экспертизу в области оркестровки Kubernetes, Mirantis дает командам инженеров-платформостроителей возможность создавать составные, готовые к производству платформы для разработчиков в любой среде — локальной, облачной, на периферии или в суверенных центрах обработки данных. Поскольку предприятия сталкиваются с растущей сложностью рабочих нагрузок на базе ИИ, Mirantis предоставляет автоматизацию, оркестрацию GPU и управление на основе политик, необходимые для уверенного и гибкого управления инфраструктурой. Приверженная открытым стандартам и свободе от привязки к поставщику, Mirantis гарантирует, что клиенты сохраняют полный контроль над своей стратегией в области инфраструктуры.