Senior DevOps Engineer

Должность: Senior DevOps Engineer Местоположение: Удаленно

О РОЛИ

0G ищет своего первого выделенного DevOps-инженера, который будет полностью отвечать за нашу облачную платформу: инфраструктуру, развертывания, сетевую часть, безопасность и затраты. Сегодня эта работа распределена между несколькими разработчиками.

Наша платформа работает у пяти провайдеров: Google Cloud, Alibaba Cloud, AWS, Cloudflare и Vercel. Она включает:

• Узлы валидатора, сида, RPC и архива для нашей основной и тестовой сети

• Рабочие нагрузки конфиденциальных вычислений (TEE), GPU-машины и узлы хранения данных

• Кластеры Kubernetes и управляемые базы данных

• Глобальный балансировщик нагрузки RPC на периферии и наши веб-приложения

В общей сложности это более 200 виртуальных машин. Вы будете тем человеком, который знает, что, где и почему работает, и сколько это стоит.

ЗА ЧТО ВЫ БУДЕТЕ ОТВЕЧАТЬ

Вы отвечаете за платформу, от сетевого периферийного устройства до счета.

• Облачные операции: подготовка, обновления, емкость и полный жизненный цикл ресурсов в Google Cloud, Alibaba Cloud и AWS. Это включает правильный подбор размеров и освобождение того, что никто не использует.

• Kubernetes: управление, обновление и масштабирование наших кластеров. Поддерживайте их в актуальных версиях и проектируйте пулы узлов, автоскейлинг и Spot-емкость.

• Парк узлов блокчейна: эксплуатация узлов валидатора, сенсорных, сидовых, RPC и архивных узлов, включая топологию пиринга, снимки, синхронизацию и обновления клиентов.

• Сети и периферия: дизайн VPC, балансировщики нагрузки, DNS, Cloudflare Workers, Tunnels и WAF, а также обеспечение того, чтобы интернет-трафик был продуманным и дешевым.

• Инфраструктура как код и CI/CD: каждая среда определяется в Terraform или Pulumi. Вы проектируете и запускаете CI/CD на Jenkins или эквиваленте, таком как GitHub Actions или GitLab CI, охватывая сборки, тесты, сканирование безопасности и развертывания от коммита до продакшена, без ручных шагов.

• Наблюдаемость и дежурства: метрики, логи, оповещения и дашборды, включая контроль кардинальности метрик. Вы также будете отвечать за реагирование на инциденты и написание постмортемов.

• Безопасность и доступ: IAM с минимальными привилегиями для каждого провайдера, управление секретами, и никаких баз данных или административных портов, открытых в интернет.

• Управление затратами: экспорт данных биллинга, бюджеты и оповещения, тегирование, ежемесячный обзор затрат и планирование обязательств.

• Поддержка разработчиков: шаблоны, предварительные среды, документация и поддержка инженеров, которые работают на платформе.

НАШ СТЕК

Kubernetes: GKE, EKS, Helm, Ingress и Gateway API, autoscaling, RBAC, network policies

Сети: TCP/IP, подсети и CIDR, маршрутизация, NAT, L4 и L7 балансировщики нагрузки, DNS, TLS, межсетевые экраны, VPC peering

Google Cloud: Compute Engine, GKE, Cloud SQL, Cloud Run, IAM, Cloud Monitoring, экспорт биллинга в BigQuery

Инфраструктура как код: Terraform, Pulumi

CI/CD и контейнеры: Jenkins или эквивалент (GitHub Actions, GitLab CI), Argo CD, Docker и BuildKit, реестры контейнеров

Наблюдаемость: Prometheus, Grafana, Cloud Monitoring, CloudWatch, Alibaba CloudMonitor

Linux: Системное администрирование, systemd, диски и файловые системы, отладка производительности

Alibaba Cloud: ECS, VPC, NLB и ALB, ESSD диски, RDS, PolarDB, SAE, Cloud Firewall

AWS: EC2, EKS, RDS, ALB и NLB, Route 53, S3, Organizations

Cloudflare: DNS, Workers, Tunnels, WAF и rate limiting, Zero Trust

Базы данных (операции): PostgreSQL, MySQL, MongoDB, управляемый Kafka

Блокчейн-узлы: CometBFT-based chains, reth и другие EVM-клиенты, P2P networking

Vercel: Projects, builds, ISR, team access

Конфиденциальные вычисления: Intel TDX виртуальные машины на Google Cloud и Alibaba Cloud

ОБЯЗАТЕЛЬНЫЕ ТРЕБОВАНИЯ

• Мы ищем 5+ лет опыта в DevOps, SRE или на платформенных ролях, включая 3+ года работы с production Kubernetes и владение CI/CD пайплайнами.

Kubernetes, глубоко

• Обновление control planes и node pools без простоя и поддержание кластеров в актуальных версиях.

• Планирование: запросы и лимиты, affinity, taints и tolerations, priority, и eviction при нагрузке на узел.

• Автоскейлинг с HPA, cluster autoscaler или Karpenter, плюс Spot или preemptible node pools для некритических задач.

• Сети внутри кластера: CNI, Services, Ingress или Gateway API, network policies, и DNS внутри кластера.

• Безопасность: RBAC, Pod Security, workload identity, и секреты, которые никогда не хранятся в переменных окружения в открытом виде.

• Stateful workloads: StatefulSets, persistent volumes и CSI drivers, а также резервное копирование и восстановление.

• Упаковка и доставка с Helm или Kustomize, в идеале через GitOps с Argo CD или Flux.

• Отладка сбойного пода, узла или развертывания по событиям, логам и метрикам.

CI/CD, глубоко

• Дизайн пайплайнов: вы создавали и управляли production CI/CD на Jenkins или эквиваленте (GitHub Actions, GitLab CI, CircleCI, Tekton). Пайплайны определяются как код в Jenkinsfile или workflow YAML, с общими библиотеками и повторно используемыми шаблонами.

• Эксплуатация CI-платформы: запуск Jenkins контроллеров с эфемерными агентами на Kubernetes или self-hosted runner'ами. Это включает обновления плагинов и версий, обработку учетных данных и масштабирование мощности сборки.

• Сборочные пайплайны: сборка нескольких сервисов и монорепозиториев с кэшированием и параллельными этапами, и версионированные артефакты. Образы контейнеров, собранные с помощью Docker, BuildKit или Kaniko, включая multi-architecture образы, сканирование образов, SBOMs и подписывание.

• Пайплайны развертывания: продвижение от dev к staging к production с одобрениями и качественными воротами, плюс blue-green, canary и быстрая откат. GitOps с Argo CD или Flux, и миграции баз данных как часть релиза.

• Инфраструктурные пайплайны: Terraform или Pulumi plan и apply из CI, с проверками политик и обнаружением дрейфа.

• Безопасность пайплайнов: краткосрочные учетные данные через OIDC federation или секретное хранилище вместо долгоживущих ключей, роли развертывания с минимальными привилегиями, и защищенные ветки.

• Инжиниринг релизов для нашей цепи: сборка и публикация бинарных файлов и образов узлов, и координация поэтапных обновлений парков валидаторов и RPC.

• Здоровье поставки: вы отслеживаете время сборки, стоимость сборки, нестабильные тесты и DORA metrics (deployment frequency, lead time, change failure rate, time to restore), и вы сокращаете потраченные впустую сборки с помощью правил игнорирования и кэширования.

Основы сетей

• TCP/IP, субсети и CIDR, маршрутизация, NAT, и разница между L4 и L7 балансировкой нагрузки.

• DNS, TLS и сертификаты, межсетевые экраны и группы безопасности.

• Частное соединение: дизайн VPC, пиринг, приватные конечные точки, и поддержание внутреннего трафика вне публичных IP.

• Траблшутинг с помощью dig, curl, mtr и tcpdump, и понимание стоимости интернет-трафика.

Также требуется

• Production опыт работы как минимум с двумя из Google Cloud, AWS и Alibaba Cloud, и готовность быстро освоить третий.

• Terraform или Pulumi в production, плюс скриптинг на Bash и Python или Go.

• Подтвержденный опыт снижения облачных затрат с помощью данных, путем правильного подбора размеров, очистки или обязательств.

• Привычка к безопасности с production учетными данными, и четкая письменная коммуникация.

ПРИВЕТСТВУЕТСЯ

• Эксплуатация блокчейн-узлов в production, таких как CometBFT валидаторы и сенсорные узлы, EVM архивные или RPC узлы, и пайплайны снимков.

• Cloudflare Workers, Tunnels и Zero Trust в масштабе.

• Alibaba Cloud на международном сайте, включая его модель биллинга и поддержки.

• Конфиденциальные вычисления (Intel TDX) и GPU-нагрузки.

• Сертификация CKA или CKS, сертификация FinOps, или опыт перехода команды между CI-системами, такими как Jenkins на GitHub Actions.

• Go или Rust, достаточно, чтобы читать и исправлять сервисы, которыми вы управляете.

ЧТО МЫ ПРЕДЛАГАЕМ

• Цель: Возможность внести свой вклад в то, чтобы сделать ИИ общественным благом

• Рост: Самоуправляемая среда, где вы можете проявлять инициативу, чтобы формировать свою роль и карьеру

• Компенсация: Конкурентоспособная на рынке компенсация, включая, для большинства должностей, доступ к предстартовым токенам

Кроме того, 0G Labs стремится к здоровью и благополучию всех членов нашей команды. Для этого мы предоставляем возмещение расходов на комплексный набор впечатлений и курсов:

• Ядро личности: Трансцендентальная медитация

• Разум: Landmark Education

• Эмоции: Искусство коммуникации

• Присутствие: Speech Coach

• Тело: Фитнес, тренажерный зал и членство/занятия спортом