О Bitdeer Technologies Group
Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для ИИ и майнинга Биткойна.
Bitdeer стремится предоставлять комплексные решения для майнинга Биткойна своим клиентам и создавать вычислительную инфраструктуру для ИИ, поддерживающую революцию в области искусственного интеллекта. Bitdeer занимается сложными вычислительными процессами, такими как закупка оборудования, транспортная логистика, проектирование и строительство центров обработки данных, управление оборудованием и ежедневные операции. Bitdeer также предлагает передовые облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, а центры обработки данных развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.
Описание вакансии
NeoCloud создает GPU-облако, управляемое ИИ, — и поскольку это клиентский облачный сервис, надежность является продуктом. Арендаторы выполняют критически важные для бизнеса задачи обучения, тонкой настройки и инференса на нашей GPU-инфраструктуре и доверяют нам свои SLA. В этой роли вы будете отвечать за надежность клиентского GPU-облака в полном объеме: от онбординга арендаторов и предоставления услуг до выполнения рабочих нагрузок, реагирования на инциденты и восстановления после них. Вы — SRE, который находится между сырой инфраструктурой и клиентским опытом — проектируя наблюдаемость, автоматизацию и операционные практики, которые делают облако на 10 000 GPU простым и надежным для арендаторов, которые на него полагаются.
Что в вашей зоне ответственности
- Полная надежность клиентского GPU-облака — доступность, завершение заданий, задержка предоставления ресурсов и клиентский опыт.
- Производственные кластеры Kubernetes, оптимизированные для GPU-нагрузок в масштабе (от 100 до 10 000 GPU) в качестве подложки для выполнения клиентских рабочих нагрузок.
- Nvidia GPU operator, device plugin, конфигурация MIG, GPU time-slicing и политики распределения GPU для нескольких арендаторов.
- Планирование с учетом топологии: локальность GPU, осведомленность о домене NVLink, привязка сетевых каналов — размещение клиентских заданий на правильном оборудовании.
- Жизненный цикл клиентов и арендаторов: онбординг, управление квотами, обеспечение изоляции (пространства имен, сетевые политики, RBAC, ресурсные квоты, безопасность подов) и офбординг/рекламация.
- Bare-Metal-as-a-Service (BMaaS): автоматическое предоставление, передача арендатору, жизненный цикл и рекламация.
- SLI/SLO/SLA для клиентского облачного сервиса: доступность кластера, процент завершения заданий, задержка предоставления ресурсов, доступность API.
- Управление инцидентами с коммуникацией с клиентами: автоматизация runbook, эскалация, обновления статуса для клиентов и пост-инцидентные обзоры.
- Стек мониторинга и наблюдаемости: Prometheus, Grafana, Alertmanager, PagerDuty — панели мониторинга и оповещения с учетом арендаторов.
- Обработка сбоев GPU-узлов: автоматическое обнаружение, drain/cordon/taint и перепланирование рабочих нагрузок — минимизация воздействия на клиента.
- Infrastructure-as-code: Terraform providers/modules, Helm и GitOps (ArgoCD/Flux) для GPU-кластеров.
- Готовность клиентского сервиса к эксплуатации: документация по сервису, runbooks для арендаторов, планирование мощностей и ярусы поддержки.
Клиентская ответственность
- Вы несете ответственность за надежность работы клиента — когда задание арендатора терпит неудачу или узел выходит из строя, вы отвечаете за обнаружение, устранение и цикл коммуникации.
- Определять и публиковать клиентские SLA/SLO и управлять приоритетами между работой над функциями и надежностью на основе бюджета ошибок.
- Партнерство с отделами по работе с клиентами/поддержке для замыкания цикла обратной связи между проблемами, о которых сообщают клиенты, и системными улучшениями.
- Создание систем самообслуживания для наблюдаемости, которые позволяют клиентам самостоятельно отвечать на свои вопросы — статус, квоты, состояние заданий — сокращая нагрузку на поддержку.
Питание AIOps Substrate
- Здесь находятся исполнительный механизм и движок рабочих процессов для устранения неполадок — вы делаете плоскость управления безопасной для автоматизированных действий.
- Ваши CRD и runbooks — это схема, по которой пишутся предикторы и ремедиаторы платформы.
- Каждое ваше ручное вмешательство в этом квартале станет автономным рабочим процессом в следующем квартале — превращая инциденты, влияющие на клиентов, в самовосстанавливающиеся события.
Как выглядит успех в первый год
- Публикация и соблюдение SLA клиентского GPU-облака — доступность, завершение заданий, задержка предоставления ресурсов.
- Автоматизированный drain/reschedule при прогнозируемых сбоях GPU в масштабе, без видимого для клиента воздействия.
- BMaaS, доступный для внешних арендаторов с самостоятельным онбордингом.
- Сокращение MTTD и MTTR для инцидентов, влияющих на клиентов, за счет автоматизации.
- Доступность инструментов самообслуживания для наблюдаемости арендаторов — клиенты могут видеть состояние своих заданий, квоты и статус.
Требования
- 5+ лет в SRE / облачных операциях, с опытом работы с GPU-нагрузками в масштабе не менее 2 лет.
- Глубокое понимание работы Kubernetes и управления GPU-нагрузками (Nvidia GPU operator, device plugin, MIG, time-slicing, GPU scheduling).
- Опыт работы с планированием с учетом топологии и управлением ресурсами, специфичными для GPU.
- Практический опыт создания многопользовательских облачных платформ с надежными гарантиями изоляции.
- Опыт работы с клиентскими облачными сервисами — определение и работа в соответствии с клиентскими SLA/SLO, обработка инцидентов и коммуникация с арендаторами.
- Опыт автоматизации предоставления и жизненного цикла серверов bare-metal (Ironic, MAAS или кастомные решения).
- Владение Terraform, Helm и GitOps рабочими процессами (ArgoCD/Flux).
- Прочный SRE-бэкграунд: фреймворки SLI/SLO/SLA, бюджеты ошибок, управление инцидентами, планирование мощностей.
- Опыт работы с Prometheus, Grafana и системами оповещения в масштабе.
- Сильные навыки программирования на Go или Python для автоматизации / разработки операторов.
- Склонность к AIOps — вы рассматриваете плоскость управления как поверхность для выполнения автоматизированных исправлений, а не просто как планировщик.
- Мышление Runbook-as-code — каждый написанный вами playbook SRE должен быть исполним платформой.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законами страны, штата и местного законодательства. Bitdeer не дискриминирует сотрудников или кандидатов по признакам расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических убеждений, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного населения и членства в профсоюзе.
