О Bitdeer:
Bitdeer — ведущая мировая технологическая компания в области майнинга биткоинов и облачных решений для искусственного интеллекта.
Bitdeer стремится предоставлять своим клиентам комплексные решения для майнинга биткоинов. Помимо разработки передовых ASIC-чипов и производства майнингового оборудования, группа компаний занимается сложными процессами, связанными с вычислениями по всей цепочке создания стоимости. Это включает закупку оборудования, транспортную логистику, проектирование и строительство дата-центров, управление оборудованием, а также эксплуатацию сетей и объектов. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, компания работает по всему миру, располагая диверсифицированным энергетическим портфелем мощностью 3 ГВт, и развертывает дата-центры для майнинга биткоинов и HPC в США, Бутане, Норвегии, Канаде, Малайзии и Эфиопии.
О роли
NeoCloud управляет Infermesh, нашей платформой Managed Inference / Model-as-a-Service: клиенты обращаются к конечным точкам модели через публичный API и платят за токен. Для такого сервиса надежность — это продукт: сбой запроса является не внутренним инцидентом, а нарушением SLA, видимым клиенту. В этой роли вы будете отвечать за надежность всего пути обслуживания выводов: от публичного API-шлюза, маршрутизатора выводов, планировщика и очереди запросов, предварительной загрузки/декодирования и KV-кэша, движков выводов и реплик GPU-моделей за ними — а также за управляющий уровень и общие зависимости, от которых они зависят. Ваша задача — обеспечить SLA 99.95%, устраняя архитектурные, автоматизационные и операционные пробелы, которые стоят на пути. Вы — SRE, который находится между парком серверов H200/B300/GB300/VR NVL72 и клиентским опытом простого, надежного конечного вывода модели.
За что вы будете нести ответственность:
- Сквозная доступность конечных точек вывода клиентов — доступность API, процент успешных запросов, задержка TTFT/TPOT и опубликованный SLA.
- Путь обслуживания: API-шлюз, маршрутизатор выводов, маршрутизация на основе состояния работоспособности, планировщик запросов, управление очередью и допуском, обслуживание предварительной загрузки/декодирования и сервис KV-кэша.
- Операции среды выполнения выводов: работоспособность движка (среды выполнения класса vLLM / SGLang / TensorRT-LLM), загрузка модели и проверка готовности, развертывание и откат версий модели.
- Топология реплик модели и изоляция отказов: ограничение групп тензорного параллелизма, изоляция отказов GPU / NVLink / NCCL, антиаффинность реплик между узлами, стойками и доменами отказов.
- Обслуживание в нескольких кластерах (MY / SG / JP): управление трафиком между кластерами, протестированное переключение отказов кластера и объем восстановления или эвакуации региона.
- Работоспособность парка GPU-серверов (H200 / B300 / GB300 / VR NVL72 bare metal): мониторинг DCGM / Xid / ECC, автоматическое выведение из эксплуатации и ограничение доступа, замена реплик без постоянного влияния на клиента.
- Платформа Kubernetes под путем обслуживания: HA control plane, etcd, CNI, CoreDNS, уровни edge для публичного доступа / управления / east-west, а также egress NAT.
- Общие зависимости управляющего уровня: PostgreSQL (включая Temporal), Redis, Vault (секреты и сертификаты), объектное хранилище и реестр моделей, ClickHouse — HA, протестированное переключение отказов и отделение живого обслуживания от сбоев управляющего уровня.
- Инженерная работа по емкости и насыщению: утилизация GPU, заполненность KV-кэша, глубина очереди и конкурентность; запас N+1, управление допуском, сброс нагрузки и плавное снижение производительности вместо отказа.
- Система SLI/SLO/SLA: определение и инструментирование SLI, публикация SLO, управление бюджетами ошибок и оповещение о скорости сгорания, а также подготовка отчетов SLA для клиентов.
- Стек наблюдаемости — VictoriaMetrics, VictoriaLogs, Tempo, Pyroscope, Grafana, ClickHouse — плюс внешние синтетические зонды для выводов, которые проверяют реальный путь API клиента.
- Управление инцидентами: модель серьезности, ротация руководителей инцидентов, эскалация первичной / вторичной / межкомандной / сторонней, статус-страница и коммуникация с клиентами, а также постмортемы с отслеживаемыми действиями.
- Безопасность изменений: поэтапное и канареечное развертывание изменений приложений, моделей и конфигураций; автоматический откат при регрессии; проверка производственных изменений и классификация рисков выпуска.
- Валидация устойчивости: регулярные учения по переключению отказов, тесты DR, игровые дни и внедрение отказов, а также проверка восстановления резервных копий — с измеренным RTO в качестве доказательства.
Ответственность за надежность
- Вы несете ответственность за надежность работы для клиента — когда конечная точка деградирует, реплика умирает или маршрутизатор теряет бэкенд, вы отвечаете за обнаружение, исправление и цикл коммуникации.
- Развивайте платформу до 99.95%, используя оценку разрыва SLA — архитектуру, операции и матрицы режимов отказа — в качестве дорожной карты.
- Отвечайте за матрицу режимов отказа и устойчивости: каждый критический и высокий режим отказа имеет сигнал обнаружения, путь смягчения последствий, целевой RTO и учение, которое это доказывает.
- Определяйте и публикуйте SLO и SLA для клиентов, а также управляйте приоритезацией между работой над функциями и работой над надежностью на основе бюджета ошибок.
- Сотрудничайте со службой поддержки и отделом по работе с клиентами, чтобы замкнуть цикл от проблем, сообщаемых клиентами, до системных исправлений, а также создавайте наблюдаемость статуса, использования и квот, видимую арендаторам, что снижает нагрузку на поддержку.
Питание подсистемы AIOps
- Здесь находится исполнитель для исправления и движок рабочего процесса — вы делаете управляющий уровень обслуживания безопасным для автоматических действий.
- Ваши runbook, CRD и определения рабочих процессов являются схемой, по которой пишут предикторы и исполнители платформы.
- Каждое человеческое вмешательство, которое вы совершите в этом квартале, станет автономным рабочим процессом в следующем квартале — превращая инциденты, влияющие на клиента, в самовосстанавливающиеся события.
Как выглядит успех в первый год
- Каждый критический / высокий режим отказа в матрице устойчивости имеет протестированное обнаружение, автоматизированное или документированное смягчение последствий и измеренный RTO.
- Отказоустойчивость при выводе данных между кластерами протестирована и завершается в пределах целевого SLA; не осталось невыявленных единых точек отказа (SPOF) в одном кластере или общих компонентов.
- Автоматический откат для неудачных развертываний приложений, моделей и конфигураций; известный неудачный canary откатывается без участия человека.
- Внешнее синтетическое зондирование выводов и панели мониторинга SLO активны; пороги сгорания бюджета ошибок запускают документированные действия.
- MTTD и MTTR для инцидентов, влияющих на клиентов, измеримо снижены, а наиболее частые повторяющиеся вмешательства преобразованы в автоматизированные рабочие процессы.
- Ротация дежурств без зависимости от одного человека, а runbook для P1/P2 может быть выполнен дежурным инженером без участия исходного автора.
Как вы выделитесь:
- 5+ лет опыта работы в SRE / эксплуатации производственных платформ, в том числе 2+ года работы с клиентским API-сервисом, работающим по опубликованному SLA.
- Глубокий опыт эксплуатации Kubernetes: HA control plane, etcd, CNI, обнаружение сервисов, уровни ingress и edge, а также топологии с несколькими кластерами.
- Практический опыт работы в производстве с обслуживанием LLM или других моделей вывода — vLLM, SGLang, TensorRT-LLM, Triton или эквиваленты: загрузка моделей, пакетирование, поведение KV-кэша, ограничения одновременного доступа, задержка TTFT/TPOT.
- Эксплуатация парка GPU: сортировка сигналов DCGM / Xid / ECC, диагностика отказов NVLink и NCCL, вывод узлов из эксплуатации и восстановление реплик.
- Инженерная работа с трафиком для критически важного по доступности API: балансировка нагрузки L4/L7, шлюзы, активная проверка работоспособности, DNS/GSLB и отказ между кластерами или регионами.
- Прочные основы SRE: проектирование SLI/SLO/SLA, бюджеты ошибок, управление инцидентами, постмортемы и планирование мощностей.
- Эксплуатация stateful зависимостей в производстве: репликация и отказ PostgreSQL, Redis, очереди сообщений, объектное хранилище, а также управление жизненным циклом секретов / сертификатов.
- Наблюдаемость в масштабе: TSDB класса Prometheus или VictoriaMetrics, Grafana, конвейеры логирования и трассировки, синтетическое зондирование и управление качеством оповещений.
- Защита от перегрузки на практике: управление допуском, ограничения одновременного доступа и очередей, сброс нагрузки и плавное снижение производительности.
- Владение Terraform, Helm и GitOps рабочими процессами (ArgoCD/Flux).
- Сильные навыки программирования на Go или Python для автоматизации, разработки контроллеров и операторов.
- Способность к AIOps — вы рассматриваете управляющий уровень как поверхность выполнения для автоматического исправления, а не просто как планировщик.
- Мышление «runbook как код» — каждая написанная вами playbook SRE должна быть исполняемой платформой.
- Уверенное общение с клиентами во время инцидентов и составление отчетов SLA.
Что вы получите, работая с нами:
- Культура, ценящая подлинность и разнообразие мыслей и происхождения;
- Инклюзивная и уважительная среда с открытыми рабочими пространствами и захватывающим духом стартапа;
- Быстрорастущая компания с возможностью наладить связи с пионерами и энтузиастами отрасли;
- Возможность внести прямой вклад и оказать влияние на будущее индустрии цифровых активов;
- Участие в новых проектах, разработка процессов/систем;
- Личная ответственность, автономия, быстрый рост и возможности обучения;
- Привлекательные социальные льготы и возможности для развития, такие как обучение и наставничество.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с национальными, государственными и местными законами. Bitdeer не дискриминирует сотрудников или соискателей по признакам расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного положения и/или родительского статуса, религии, политических убеждений, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного населения и членства в профсоюзе.
