Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для ИИ и майнинга биткойнов.
Bitdeer стремится предоставлять своим клиентам комплексные решения для майнинга биткойнов и создавать вычислительную инфраструктуру для ИИ, чтобы поддержать революцию в области ИИ. Bitdeer занимается сложными процессами, связанными с вычислениями, такими как закупка оборудования, логистика транспортировки, проектирование и строительство центров обработки данных, управление оборудованием и ежедневные операции. Bitdeer также предлагает передовые облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, а центры обработки данных развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.
Обзор вакансии
- Мы ищем инженера по кластерным системам Slurm и планированию HPC, который будет отвечать за Slurm как первоклассный, продуктовый слой планирования во всем нашем парке оборудования. Этот человек будет единоличным техническим владельцем архитектуры кластера Slurm, политики многопользовательского планирования и надежности кластера как на bare-metal, так и на VM-основанных GPU-узлах, и будет руководить внедрением стека операторов Slinky (slurm-operator и slurm-bridge, где это применимо), чтобы рабочие нагрузки Slurm и Kubernetes могли использовать один и тот же пул GPU. Работа требует глубокой практической вовлеченности, взаимодействия с клиентами во время онбординга и при эскалациях, а также установления инженерных стандартов, на которых будет строить остальная часть платформенной команды.
Ключевые обязанности
- Архитектура и жизненный цикл кластера Slurm — Проектирование, развертывание и эксплуатация производственных кластеров Slurm на bare metal и VM: обеспечение высокой доступности slurmctld/slurmdbd, slurmrestd, configless slurmd, аутентификация SACK/MUNGE и JWT, а также поэтапные обновления версий на работающих кластерах без потери запущенных заданий.
- Планирование с учетом топологии для GPU-сетей — Моделирование физической сети в topology.conf — topology/tree для оптимизированных под шину InfiniBand/RoCE конструкций и topology/block для NVLink-доменов, таких как NVL72 на базе GB200/GB300 — и проверка качества размещения с помощью проверки пропускной способности NCCL и многоузлового обучения, а не на основе предположений.
- Политика многопользовательского планирования — Управление деревом учетных записей/ассоциаций, разделами, QOS, fairshare, preemption, reservations и лимитами TRES для каждого клиента. Применение политик отказа при неразрешенном состоянии: неустановленная идентификация клиента или пустой набор прав должны приводить к отказу, а не к неограниченному доступу.
- Slinky на Kubernetes — Руководство внедрением slurm-operator Slinky, включая пользовательские ресурсы NodeSet, LoginSet, Accounting, RestAPI и Token, доставку на основе cert-manager и Helm, общие разделяемые хранилища и login-поды, работающие под управлением sackd/sshd. Оценка и пилотное внедрение slurm-bridge для совместного планирования Kubernetes Pods, PodGroups, Jobs, JobSets и LeaderWorkerSets через планировщик Slurm, а также документирование его ограничений — особенно эксклюзивное выделение целого узла — перед предоставлением клиентам.
- Эластичная емкость между Slurm и Kubernetes — Использование механизмов облачного управления и энергосбережения Slurm (ResumeProgram/SuspendProgram, SuspendTime, ResumeTimeout) совместно с автоматизацией парка оборудования для перемещения GPU-узлов между очередями пакетного обучения и мощностями для инференса Kubernetes в зависимости от спроса.
- Среда выполнения контейнеров и заданий — Эксплуатация путей выполнения заданий Pyxis/Enroot и OCI/containerd с правильными настройками gres.conf, ограничениями устройств cgroup v2 и поведением CUDA_VISIBLE_DEVICES; поддержка сред MPI/PMIx, модуля/Spack и пользовательских образов.
- Инженерия работоспособности и надежности кластера — Создание пассивной и активной системы проверки работоспособности, ожидаемой от первоклассного GPU-облака: проверки prolog/epilog, LBNL NHC или эквивалент, диагностика DCGM и обнаружение ошибок XID/SXID, сбоев ECC, ошибок PCIe, отсоединения GPU, сбоев каналов IB/RoCE и зависаний NCCL — с автоматическим выводом из эксплуатации и повторной постановкой заданий в очередь. Ответственность за тестирование на выносливость и приемку каждого нового стеллажа перед его использованием для платной работы.
- Автоматизация и инфраструктура как код — Развертывание кластеров с помощью Terraform/Ansible, золотых образов и развертывания bare-metal (PXE, Redfish, IPMI), чтобы сборка кластера была воспроизводимой, проверяемой и аудируемой, а не настраиваемой вручную.
- Интеграция с системами наблюдаемости, учета и биллинга — Инструментарий времени ожидания в очереди, эффективности выделения ресурсов, утилизации GPU и таксономии причин сбоев заданий через экспортер Slurm в Prometheus/Grafana; настройка AccountingStorageTRES и TRESBillingWeights, а также сверка GPU-часов sacct/sreport с конвейером платформы для измерения и выставления счетов.
- Техническое лидерство и взаимодействие с клиентами — Написание руководств (runbooks) и документации для клиентов, онбординг и поддержка корпоративных клиентов, выступление в качестве точки эскалации при инцидентах в кластере, а также наставничество инженеров платформы по вопросам практики работы со Slurm и планированием HPC.
Квалификация
- Опыт работы в области HPC, системной или облачной инфраструктуры от 8 лет, включая 4+ года эксплуатации производственных кластеров Slurm масштабом от 100+ GPU-узлов с реальными пользователями и обязательствами по уровню обслуживания.
- Глубокие практические знания Slurm: slurm.conf, gres.conf, topology.conf, cgroup.conf, разделы/QOS/fairshare/preemption/reservations, учет slurmdbd, slurmrestd, аутентификация MUNGE/SACK и JWT, а также обновления версий, выполненные на работающих кластерах.
- Твердые знания GPU и сетей: драйверы NVIDIA и Fabric Manager, DCGM, MIG, InfiniBand/RoCEv2 (сетевой менеджер/UFM, оптимизированная под шину топология), GPUDirect RDMA, а также практическая настройка NCCL и диагностика сбоев.
- Опыт работы с производственными Kubernetes и понимание паттерна операторов/CRD, а также практический опыт работы хотя бы с одним стеком Slurm-on-Kubernetes — Slinky slurm-operator или slurm-bridge, CoreWeave SUNK или Nebius Soperator — с обоснованным пониманием компромиссов между ними.
- Опыт развертывания как bare-metal, так и виртуализированных вычислений: развертывание bare-metal и управление жизненным циклом прошивки/BIOS, кластеры на основе гипервизора или VM (KVM/QEMU или эквивалент в публичном облаке), а также автоматизация на основе Terraform/Ansible.
- Рабочее знание параллельных и общих хранилищ для рабочих нагрузок ИИ — Lustre, GPFS/Spectrum Scale, WEKA, VAST или NFS — и того, как поведение хранилища влияет на производительность заданий и режимы сбоев.
- Владение Python и Bash для автоматизации кластера; опыт работы с Go будет плюсом для интеграции с управляющей плоскостью платформы Bitdeer AI и кодом клиента REST API Slurm/Slinky.
- Дисциплина безопасности в многопользовательской среде: получение области видимости клиента из проверенной идентификации, а не из полей, предоставленных клиентом, проектирование авторизации с отказом при неразрешенном состоянии и рассмотрение изоляции между учетными записями, пространствами имен, хранилищами и сетями как строгого требования.
- Четкое письменное и устное общение на английском языке, с опытом работы напрямую с корпоративными клиентами и умением объяснять компромиссы в области планирования и надежности для продуктовой, коммерческой и руководящей команд.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законодательством страны, штата и местного законодательства. Bitdeer не дискриминирует сотрудников или кандидатов по признаку расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических убеждений, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного жителя и членства в профсоюзе.
