Старший инженер по кластерам Slurm и HPC
О Bitdeer:
Bitdeer — ведущая мировая технологическая компания в области майнинга биткоинов и облачных вычислений для ИИ.
Bitdeer стремится предоставлять своим клиентам комплексные решения для майнинга биткоинов. Помимо разработки передовых ASIC-чипов и производства майнинговых установок, Группа занимается сложными процессами, связанными с вычислениями, по всей цепочке создания стоимости. Это включает закупку оборудования, транспортную логистику, проектирование и строительство центров обработки данных, управление оборудованием, а также эксплуатацию сетей и объектов. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, компания работает на глобальном уровне с диверсифицированным энергетическим портфелем мощностью 3 ГВт, развертывая центры обработки данных для майнинга биткоинов и HPC в США, Бутане, Норвегии, Канаде, Малайзии и Эфиопии.
Ваши обязанности:
- Архитектура и жизненный цикл кластера Slurm — проектирование, развертывание и эксплуатация производственных кластеров Slurm на bare metal и виртуальных машинах: высокая доступность slurmctld/slurmdbd, slurmrestd, configless slurmd, аутентификация SACK/MUNGE и JWT, а также поэтапное обновление версий на активных кластерах без потери выполняемых заданий.
- Планирование с учетом топологии для GPU-сетей — моделирование физической сети в topology.conf — topology/tree для оптимизированных под рельсы InfiniBand/RoCE решений и topology/block для NVLink-доменов, таких как GB200/GB300 NVL72 — и проверка качества размещения с помощью NCCL bandwidth и многоузловой валидации обучения, а не предположений.
- Политика планирования для многопользовательских сред — управление деревом аккаунтов/ассоциаций, разделами, QOS, fairshare, preemption, reservations, а также лимитами TRES для каждого арендатора. Применение политик fail-closed по умолчанию: неразрешенный идентификатор арендатора или пустой набор прав должны приводить к отказу, а не к снижению до неограниченного доступа.
- Slinky в Kubernetes — руководство внедрением Slinky slurm-operator, включая его пользовательские ресурсы NodeSet, LoginSet, Accounting, RestAPI и Token, доставка на основе cert-manager и Helm, общие параллельные файловые системы и login-поды, работающие на sackd/sshd. Оценка и пилотирование slurm-bridge для совместного планирования Kubernetes Pods, PodGroups, Jobs, JobSets и LeaderWorkerSets через планировщик Slurm, и документирование его ограничений — особенно эксклюзивного выделения целого узла — до какого-либо взаимодействия с клиентами.
- Эластичная емкость между Slurm и Kubernetes — использование механизмов облачного планирования и энергосбережения Slurm (ResumeProgram/SuspendProgram, SuspendTime, ResumeTimeout) совместно с автоматизацией парка для перемещения GPU-узлов между очередями пакетного обучения и емкостью для инференса Kubernetes по мере изменения спроса.
- Контейнерные и рабочие среды заданий — эксплуатация Pyxis/Enroot и OCI/containerd для заданий с корректной конфигурацией gres.conf, ограничениями устройств cgroup v2 и поведением CUDA_VISIBLE_DEVICES; поддержка сред MPI/PMIx, module/Spack, а также пользовательских образов.
- Инженерия работоспособности и надежности кластера — создание пассивной и активной системы проверки работоспособности, ожидаемой от топового GPU-облака: проверки prolog/epilog, DCGM-диагностика LBNL NHC или эквивалента, а также обнаружение ошибок XID/SXID, неисправностей ECC, PCIe-ошибок, отсоединения GPU от шины, пропадания IB/RoCE-соединения и зависаний NCCL — с автоматическим выводом из эксплуатации и повторным запуском заданий. Ответственность за приемочные испытания и ввод в эксплуатацию каждой новой стойки перед началом выполнения платных работ.
- Автоматизация и инфраструктура как код — развертывание кластеров с помощью Terraform/Ansible, золотых образов и подготовки bare-metal (PXE, Redfish, IPMI), чтобы сборка кластера была воспроизводимой, проверяемой и аудируемой, а не настраиваемой вручную.
- Интеграция с системами наблюдаемости, учета и биллинга — инструментарий времени ожидания в очереди, эффективности распределения ресурсов, утилизации GPU и таксономии сбоев заданий через Slurm exporter в Prometheus/Grafana; настройка AccountingStorageTRES и TRESBillingWeights, а также сверка GPU-часов sacct/sreport с конвейером учета и выставления счетов платформы.
- Техническое лидерство и взаимодействие с клиентами — написание руководств и документации для арендаторов, онбординг и поддержка корпоративных клиентов, выступление в качестве точки эскалации для инцидентов кластера, а также обучение инженеров платформы практикам планирования Slurm и HPC.
Что выделит вас:
- 8+ лет опыта в области HPC, системной или облачной инфраструктуры, включая 4+ года эксплуатации производственных кластеров Slurm масштаба 100+ GPU-узлов с реальными пользователями и обязательствами по уровню обслуживания.
- Глубокие практические знания Slurm: slurm.conf, gres.conf, topology.conf, cgroup.conf, partitions/QOS/fairshare/preemption/reservations, учет slurmdbd, slurmrestd, аутентификация MUNGE/SACK и JWT, а также обновления версий, выполненные на активных кластерах.
- Прочные основы GPU и сетей: драйверы NVIDIA и Fabric Manager, DCGM, MIG, InfiniBand/RoCEv2 (сетевой менеджер/UFM, оптимизированная топология), GPUDirect RDMA, а также практическая настройка NCCL и диагностика сбоев.
- Опыт работы с производственными Kubernetes и практическое знание паттерна operator/CRD, а также практический опыт работы хотя бы с одним стеком Slurm-on-Kubernetes — Slinky slurm-operator или slurm-bridge, CoreWeave SUNK или Nebius Soperator — с информированным пониманием компромиссов между ними.
- Опыт развертывания как bare-metal, так и виртуализированных вычислений: подготовка bare-metal и управление жизненным циклом прошивок/BIOS, кластеры на базе гипервизора или VM (KVM/QEMU или эквивалент в публичном облаке), а также автоматизация на базе Terraform/Ansible.
- Практическое знание параллельных и общих файловых систем для рабочих нагрузок ИИ — Lustre, GPFS/Spectrum Scale, WEKA, VAST или NFS — и того, как поведение хранилища влияет на производительность заданий и режимы сбоев.
- Владение Python и Bash для автоматизации кластера; опыт работы с Go будет плюсом для интеграции с управляющей плоскостью платформы Bitdeer AI и с кодом клиента REST API Slurm/Slinky.
- Дисциплина безопасности в многопользовательских средах: получение области видимости арендатора из проверенной идентификационной информации, а не из полей, предоставленных клиентом, проектирование авторизации для отказа при ошибках, и рассмотрение изоляции между аккаунтами, пространствами имен, хранилищами и сетями как строгого требования.
- Четкая письменная и устная коммуникация на английском языке, с зрелостью для прямой работы с корпоративными клиентами и для перевода компромиссов в области планирования и надежности для специалистов по продуктам, продажам и руководства.
Что вы получите, работая с нами:
- Культура, которая ценит подлинность и разнообразие мыслей и происхождения;
- Инклюзивная и уважительная среда с открытыми рабочими пространствами и захватывающим духом стартапа;
- Быстрорастущая компания с возможностью налаживать связи с пионерами индустрии и энтузиастами;
- Возможность напрямую вносить вклад и влиять на будущее индустрии цифровых активов;
- Участие в новых проектах, разработка процессов/систем;
- Личная ответственность, автономия, быстрый рост и возможности обучения;
- Привлекательные социальные льготы и возможности развития, такие как обучение и наставничество.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законами страны, штата и местного законодательства. Bitdeer не дискриминирует сотрудников или соискателей по таким признакам, как раса, цвет кожи, гендерная идентичность и/или выражение, сексуальная ориентация, семейное и/или родительское положение, религия, политические убеждения, национальность, этническое происхождение или социальное происхождение, социальный статус, инвалидность, возраст, коренное происхождение и профсоюзная принадлежность.
