Cloud Storage Integration Engineer (Storage / Image / Registry)

О Bitdeer Technologies Group

Bitdeer — ведущая мировая технологическая компания в области ИИ и инфраструктуры для майнинга биткоинов.

Bitdeer стремится предоставлять комплексные решения для майнинга биткоинов своим клиентам и создавать вычислительную инфраструктуру для поддержки революции в области ИИ. Bitdeer занимается сложными процессами, связанными с вычислениями, такими как закупка оборудования, транспортная логистика, проектирование и строительство центров обработки данных, управление оборудованием и повседневные операции. Bitdeer также предлагает расширенные облачные возможности для клиентов с высоким спросом на искусственный интеллект.

Штаб-квартира Bitdeer находится в Сингапуре, а центры обработки данных развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.

Инженер по интеграции облачных хранилищ (Хранилища / Образы / Реестры)

Обзор позиции

GPU-обучение и инференс в масштабе 10 000+ GPU в нескольких регионах зависят от высокопроизводительных хранилищ с низкой задержкой, способных выдерживать массивные параллельные операции ввода-вывода. Мы ищем инженера, который глубоко разбирается в распределенных файловых системах и может интегрировать распределенные / параллельные системы хранения данных в наше GPU-облако, обеспечивая производительность, многопользовательский режим и надежность, а также владея конвейером образов / драйверов / реестров на критически важном пути доставки узлов.

Ключевые обязанности

• Проектирование и интеграция распределенных / параллельных файловых систем (например, Ceph, Lustre, GPFS / Spectrum Scale, BeeGFS, JuiceFS) в GPU-облако, оптимизированных для шаблонов ввода-вывода при обучении / инференсе ИИ.
• Полная ответственность за интеграцию распределенных хранилищ: подготовка ресурсов, монтирование, изоляция многопользовательских сред, квоты и жизненный цикл в рамках платформы / управляющего плана.
• Настройка пропускной способности и задержки хранилища для крупномасштабного параллельного доступа (загрузка наборов данных, сохранение контрольных точек); проведение бенчмарков для различных SKU GPU и рабочих нагрузок.
• Архитектура многорегиональных хранилищ: локальность данных, репликация / согласованность, долговечность (домены сбоев) и межрегиональный доступ.
• Владение золотыми образами, шаблонами, драйверами GPU / CUDA и реестром контейнеров / образов, включая версионированный выпуск и многорегиональное распространение. (Вторичная область ответственности.)
• Создание систем мониторинга, планирования мощностей и руководств по эксплуатации; устранение единых точек отказа.
• Взаимодействие с командами Compute (доставка), Network (сетка хранения / RDMA) и Control Plane (подготовка ресурсов / квоты).

Требования к кандидату

• 3+ года (для Senior 6+) опыта работы в области хранения данных или инфраструктуры платформ, с практическим опытом работы с распределенными / параллельными файловыми системами.
• Глубокое понимание внутренних механизмов распределенных файловых систем — разделение данных / метаданных, репликация, модели согласованности, семантика POSIX против объектной семантики.
• Подтвержденный опыт интеграции и эксплуатации распределенных хранилищ в производственной среде (например, Ceph, Lustre, GPFS / Spectrum Scale, BeeGFS, JuiceFS, MinIO).
• Опыт настройки производительности для высокопроизводительного / параллельного ввода-вывода; знакомство с NVMe, RDMA / RoCE для сетей хранения данных и кэшированием является большим плюсом.
• Глубокое знание систем Linux и навыки автоматизации (Python / Go, CI / CD).
• Опыт работы с хранилищами HPC / AI или многорегиональными хранилищами является большим плюсом.

Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законами страны, штата и местными законами. Bitdeer не дискриминирует сотрудников или кандидатов по таким признакам, как раса, цвет кожи, гендерная идентичность и/или выражение, сексуальная ориентация, семейное положение и/или родительский статус, религия, политические убеждения, национальность, этническое происхождение или социальное происхождение, социальный статус, инвалидность, возраст, коренной статус, членство в профсоюзе.