Senior Principal Site Reliability Engineer

Название: Старший ведущий инженер по надежности сайтов (Senior Principal Site Reliability Engineer) Компания: Bybit Местоположение: Технический офис в Куала-Лумпуре / Гонконг (SAR)

О нас

Основанная в 2018 году, Bybit является одной из ведущих мировых бирж криптовалют и платформ цифровых финансов, обслуживающей более 80 миллионов пользователей в более чем 200 странах и регионах. Благодаря передовым технологиям и ориентированному на пользователя подходу, Bybit предоставляет единую экосистему для торговли, платежей, управления активами, кастодиальных услуг, институциональных услуг и Web3 — объединяя пользователей с будущим цифровых финансов. Наши основные ценности определяют наш подход к работе. Мы слушаем, заботимся и совершенствуемся, создавая продукты и опыт, ориентированные на пользователей. Опираясь на глобальную команду амбициозных разработчиков, решателей проблем и новаторов, мы создаем высокопроизводительную и динамичную среду, где талантливые специалисты могут оказывать реальное влияние в глобальном масштабе. При поддержке круглосуточной многоязычной службы поддержки клиентов и твердой приверженности инновациям мы формируем будущее финансов посредством технологий, сотрудничества и смелой реализации. Сегодня Bybit признана одной из самых надежных и прозрачных платформ в индустрии цифровых активов, продолжая расширять свое глобальное присутствие и создавая инфраструктуру для следующего поколения финансовых услуг.

Основные обязанности

Архитектура и разработка платформы хаос-инжиниринга (50%)

• Проектирование и создание корпоративной платформы хаос-инжиниринга, поддерживающей развертывание в нескольких кластерах (гибрид K8s + EC2), нескольких регионах и нескольких средах (testnet/mainnet).
• Разработка основных возможностей:
  • Движок инъекции отказов: симуляция отказов на уровне Pod / Node / AZ, задержка сети / потеря пакетов / разделение, таймаут зависимости / инъекция ошибок.
  • Обеспечение безопасности в производственной среде: контроль радиуса воздействия, выключатель «Kill Switch» в одно нажатие, автоматический откат, мониторинг воздействия в реальном времени.
  • Изоляция трафика: тегирование и изоляция трафика экспериментов для обеспечения того, чтобы инъекция отказов не влияла на реальных пользователей.
  • Изоляция отказов: точное определение области воздействия на уровне сервиса / кластера / AZ.
• Проектирование возможностей оркестрации экспериментов, поддерживающих составление сложных сценариев отказов (например, одновременная сетевая задержка + таймаут нижестоящего сервиса + инвалидация кэша).
• Глубокая интеграция с существующими системами мониторинга, оповещения и SLO для достижения автоматизированного замкнутого цикла: инъекция отказа → наблюдение за воздействием → определение прохождения/неудачи.

Фреймворк проверки устойчивости производственной среды (30%)

• Определение стандартов безопасности и рабочих процессов утверждения для инъекции отказов в основной сети.
• Проектирование и проведение регулярных хаос-экспериментов:
  • Эксперименты уровня ежедневного патрулирования: низкорисковые эксперименты, выполняемые автоматически ежедневно/еженедельно.
  • Периодические эксперименты по проверке: ежемесячная/ежеквартальная проверка устойчивости критических путей.
  • Масштабные учения: проверка переключения при аварийном восстановлении между AZ / регионами.
• Создание системы оценки устойчивости для количественной оценки состояния системы на основе результатов экспериментов.
• Предоставление рекомендаций по улучшению и стимулирование бизнес-команд для устранения выявленных слабых мест.

3. Выбор технологий и поддержка команды (20%)

• Оценка и выбор технологической основы (Chaos Mesh / Litmus / пользовательские компоненты — гибридная стратегия).
• Разработка лучших практик и руководств по хаос-инжинирингу для обеспечения работы команд SRE и разработчиков приложений.
• Менторство и развитие команды (2–3 инженера) в области хаос-инжиниринга.
• Быть в курсе отраслевых разработок и внедрять передовые практики (например, обнаружение сценариев отказов на основе ИИ).

Требования

Обязательно:

• Опыт работы бэкэнд / инфраструктурным инженером более 8 лет, из них более 3 лет — в области хаос-инжиниринга или инжиниринга устойчивости.
• Практический опыт крупномасштабной инъекции отказов в производственных средах (не только в тестовых), с глубоким пониманием ограничений безопасности производства.
• Экспертное владение инъекцией отказов в Kubernetes (Chaos Mesh / Litmus / пользовательские решения), знание разработки CRD / Operator.
• Владение как минимум одним бэкэнд-языком программирования (предпочтительно Go), с возможностью проектирования системной архитектуры на платформенном уровне.
• Глубокое понимание режимов отказа распределенных систем (сетевые разделения, split-brain, каскадные сбои, несогласованность данных и т. д.).
• Знакомство со стеком технологий наблюдаемости (Prometheus / Grafana / Thanos / OpenTelemetry).
• Отличные навыки технической документации и проектирования решений.

Желательно:

• Опыт обеспечения стабильности финансовых / торговых систем (понимание согласованности транзакций и ограничений безопасности средств).
• Опыт построения фреймворков SLO / Error Budget.
• Опыт построения систем автоматизированного восстановления после сбоев (self-healing).
• Знакомство с инфраструктурой AWS (EC2 / EKS / Multi-AZ / Multi-Region).
• Знание Netflix Chaos Engineering / AWS Fault Injection Simulator / Gremlin.
• Вклад в проекты с открытым исходным кодом (Chaos Mesh / Litmus или аналогичные проекты).

Soft Skills:

• Способность балансировать «безопасность» и «глубину проверки» — не бояться инъекций в производственную среду, сохраняя при этом строгий контроль рисков.
• Сильные навыки кросс-командного сотрудничества и влияния — хаос-инжиниринг требует одобрения бизнес-команд; эта роль требует навыков убеждения.
• Самостоятельность, способность самостоятельно планировать и выполнять задачи в неоднозначных ситуациях.

Почему стоит присоединиться к нам

В Bybit мы стремимся создавать поддерживающую и развивающую рабочую среду. Наши преимущества включают:

• Фонд профессионального роста: мы поддерживаем ваше профессиональное развитие и непрерывное обучение.
• Внутренние мероприятия: участвуйте в регулярных мероприятиях по сплочению команды, семинарах и событиях, призванных способствовать сотрудничеству и инновациям.
• Глобальное сотрудничество: станьте частью разнообразной международной команды, работая вместе с коллегами со всего мира.
• Карьерный рост: получите возможности для роста и продвижения в быстрорастущей глобальной компании.
• Внутренняя мобильность: развивайтесь вместе с нами — ваше долгосрочное развитие важно для нас. Мы предлагаем внутренние вакансии, чтобы помочь вам построить карьерный путь.