Инженер по эксплуатации, Германия
Компания: Xsolla
Тип занятости: Полная занятость
Зарплата: 65 000–95 000 USD в год
Формат работы: Удаленно
Обязанности
- Быть основным монитором на панели мониторинга во время вашей смены — постоянно отслеживайте панель мониторинга GTO Operational Dashboard в Datadog, обнаруживайте аномалии, сопоставляя сигналы в APM, журналах, метриках, синтетических тестах и мониторинге реальных пользователей (Real User Monitoring), и определяйте, требуют ли оповещения создания заявки об инциденте или могут быть решены немедленно.
- Оценивайте и расследуйте производственные инциденты — создавайте заявки об инцидентах в JIRA Service Management, проводите первоначальное техническое расследование с использованием Datadog (трассировки, журналы, инфраструктурные и прикладные метрики), определяйте область поражения и вероятную область первопричины, а также направляйте в нужную команду (Product SRE, Infrastructure SRE или Engineering) с использованием модели интеллектуальной маршрутизации.
- Самостоятельно управляйте инцидентами низкой степени серьезности от обнаружения до разрешения — диагностируйте, выполняйте процедуры по инструкциям (runbook) и по возможности разрешайте без эскалации.
- Оперативно эскалируйте, если инцидент не устранен в установленные сроки или требует исправления на уровне кода.
- Поддерживайте TSO Lead во время крупных инцидентов в качестве технического помощника в "военной комнате" — предоставляйте данные в реальном времени (уровень ошибок, масштаб воздействия, история развертываний, связанные оповещения), поддерживайте заявку об инциденте с записями временной шкалы в реальном времени и связанными доказательствами, а также выполняйте действия по смягчению последствий по указанию.
- Составляйте сообщения об инцидентах под руководством TSO Lead, включая внутренние обновления в Slack, уведомления заинтересованных сторон и обновления общедоступной страницы статуса (status.xsolla.com).
- Поддерживайте четкую, своевременную коммуникацию на протяжении всего жизненного цикла инцидента.
- В периоды отсутствия инцидентов анализируйте тенденции инцидентов, повторяющиеся проблемы и производственные ошибки — собирайте данные из Datadog, JIRA и Slack, выявляйте закономерности и вносите результаты в регулярные отчеты для команд по продуктам и разработке.
- Составляйте временные шкалы инцидентов и готовьте первоначальные документы PIR для подготовки к пост-инцидентному обзору (Post-Incident Review).
- Отслеживайте пункты действий PIR после сессии и сообщайте о просроченных пунктах TSO Lead.
- Создавайте и поддерживайте операционную автоматизацию (скрипты обогащения оповещений, шаблоны инцидентов, рабочие процессы Slack, виджеты панелей мониторинга) и вносите вклад в разработку инструкций (runbook) — документируя новые процедуры разрешения, чтобы их мог повторить любой инженер по эксплуатации в любой смене.
- Проводите структурированные передачи смены, охватывающие активные инциденты, находящиеся под угрозой службы, предстоящие развертывания и последующие действия.
- Участвуйте в сессиях передачи знаний с SRE для постоянного расширения возможностей самостоятельного решения проблем.
- Замещайте TSO Lead во время отпусков, отсутствий или чрезвычайных ситуаций — включая классификацию серьезности, решения об эскалации, коммуникацию с заинтересованными сторонами и базовые функции Инцидент-менеджера.
- Периодически публикуйте отчеты о работоспособности критически важных приложений.
Квалификация
- Опыт работы в игровой компании обязателен — вы понимаете темп, ожидания игроков, динамику операционной деятельности в реальном времени и операционные требования игровой индустрии.
- 4+ года опыта работы в SRE, DevOps, производственных операциях, NOC или технической эксплуатации в среде с высокой доступностью.
- Сильные навыки устранения неполадок и расследований — способность взять оповещение или симптом, о котором сообщил пользователь, и методично отследить его по стеку: журналы приложений, трассировки APM, метрики инфраструктуры, запросы к базам данных и сетевые пути.
- Практический опыт работы с Datadog (или эквивалентной платформой наблюдаемости: Grafana, Splunk, New Relic, Elastic) — навигация по APM, создание запросов к журналам, чтение панелей мониторинга инфраструктуры, интерпретация уровней истощения SLO (SLO burn rates) и настройка мониторов и оповещений.
- Знание хотя бы одного скриптового языка: Python, Go или Bash. Вы будете писать скрипты автоматизации, создавать операционные инструменты и работать с API.
- Четкие письменные и устные коммуникативные навыки на английском языке — способность писать заявки об инцидентах, заметки о расследованиях, обновления в Slack, отчеты о передаче смены, сообщения для страницы статуса и черновики PIR, которые являются четкими, краткими и полезными как для технической, так и для нетехнической аудитории.
- Рабочее знание Kubernetes и облачной инфраструктуры (предпочтительно GCP, допустимо AWS/Azure) — понимание подов, развертываний, сервисов, ingress, состояния узлов и как расследовать производственные проблемы, связанные с Kubernetes.
- Понимание SLO, бюджетов ошибок (error budgets) и оповещений об уровне истощения (burn-rate alerting) — знание того, что означает многооконное оповещение об уровне истощения, как расходуются бюджеты ошибок и как нарушения SLO переводятся в серьезность инцидента.
- Опыт работы с инструментами управления инцидентами: JIRA или JIRA Service Management, PagerDuty или OpsGenie, Slack и Confluence.
- Опыт работы или сильный интерес к операциям с использованием ИИ/МО: обнаружение аномалий, корреляция оповещений, предиктивный мониторинг или автоматизированное исправление.
- Комфортная работа в круглосуточном посменном режиме в рамках модели "follow-the-sun" с перекрытием смен.
- Обязательное дежурство по выходным (по графику).
Желательно
- Знакомство с Datadog Service Catalog, синтетическим мониторингом и RUM (Real User Monitoring).
- Опыт отладки распределенных систем: отслеживание сбоев между микросервисами, понимание каскадных сбоев и полное отслеживание распределенных трассировок.
- Опыт работы с операциями баз данных (MySQL, PostgreSQL, Redis, Kafka) на уровне, достаточном для расследования исчерпания пула соединений, задержки репликации, медленных запросов или очередей сообщений во время инцидентов.
- Знакомство с конвейерами CI/CD и инструментами развертывания (GitLab CI, ArgoCD, Helm) — достаточное для сопоставления недавних развертываний с производственными проблемами и определения целей отката.
- Опыт администрирования JIRA Service Management: рабочие процессы, правила автоматизации, таймеры SLA и очереди.
- Сертификация ITIL Foundation является плюсом, но не обязательна — практический опыт важнее.
Преимущества
- Неограниченное гибкое время отпуска, абонемент в спортзал, ежемесячный проездной билет и персонализированный карьерный план для каждого сотрудника.
- Профессиональное развитие через обучение и образовательные возможности.
