О Bitdeer Technologies Group
Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для ИИ и майнинга биткоинов.
Bitdeer стремится предоставлять комплексные решения для майнинга биткоинов своим клиентам и создавать вычислительную инфраструктуру для ИИ, чтобы поддержать революцию в области ИИ. Bitdeer занимается сложными процессами, связанными с вычислениями, такими как закупка оборудования, логистика транспортировки, проектирование и строительство центров обработки данных, управление оборудованием и повседневные операции. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.
Штаб-квартира Bitdeer находится в Сингапуре, а центры обработки данных развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.
Обзор вакансии
Вы будете отвечать за уровень ввода-вывода (IO), который обучает модели, и за сигналы, которые нам нужны для прогнозирования сбоев хранилища до того, как контрольная точка остановит процесс обучения стоимостью 50 миллионов долларов.
Bitdeer создает облако GPU, управляемое ИИ. Хранилище — это то, где рабочие нагрузки ИИ либо работают гладко, либо терпят крах: медленное параллельное чтение может замедлить работу задачи на 1000 GPU; остановленная контрольная точка может привести к потере всей эпохи обучения. На этой должности вы будете развертывать и эксплуатировать высокопроизводительный уровень хранения данных для обучения и инференса ИИ в центрах обработки данных NeoCloud в США, а также предоставлять системе AIOps необходимые сигналы для выявления регрессий в хранилище до того, как они приведут к жалобам клиентов.
Ваши обязанности
- Развертывание и эксплуатация параллельных/распределенных систем хранения данных: WEKA, VAST Data, Ceph, DDN/Lustre. Проектирование архитектур хранения данных, оптимизированных для шаблонов рабочих нагрузок ИИ — пиковых нагрузок ввода-вывода контрольных точек, последовательного чтения наборов данных, KV-кэша для инференса.
- Реализация многопользовательской изоляции хранилищ с QoS, квотами и средствами контроля доступа для каждого клиента; настройка и оптимизация GPU Direct Storage для прямых путей передачи данных от GPU к хранилищу.
- Развертывание и управление сетевой инфраструктурой хранения данных (NFS over RDMA, NVMe-oF, высокоскоростные коммутаторы хранения данных) и NVIDIA CMX для оркестрации хранения данных в масштабах кластера.
- Диагностика и настройка производительности хранилища: IOPS, пропускная способность, профилирование задержек с помощью fio, IOR, mdtest; разработка инструкций для распространенных сценариев отказа.
- Планирование емкости хранилища в соответствии с ростом кластера GPU и прогнозами рабочих нагрузок клиентов; управление прошивками, миграцией данных и процедурами аварийного восстановления.
Предоставление данных для AIOps
- Инструментализация телеметрии хранилища — конечной задержки ввода-вывода, продолжительности контрольных точек, NVMe SMART, состояния файловой системы, счетчиков RDMA — в хранилище метрик/логов/трассировок, которым управляет команда платформы.
- Сотрудничество с командой платформы для определения предиктора сбоев хранилища: какие сигналы, какие метки (из ваших инцидентов), какие допустимые пределы ложноположительных срабатываний.
- Превращение каждого нового инцидента в автоматизацию: стандартные операционные процедуры (SOP) становятся кодом инструкций (runbook-as-code), а код инструкций — средством исправления, исполняемым агентом.
Что такое успех в первый год
- Наличие наблюдаемости и базового предиктора для 3 основных классов сбоев хранилища в нашей сети.
- Время среднего ремонта (MTTR) при сбоях хранилища измеримо ниже, чем на момент найма.
- Кластеры класса Nvidia GB200, которые мы построим, будут использовать вашу архитектуру хранения данных.
Требования к вакансии:
- Более 5 лет опыта эксплуатации корпоративных или HPC-систем хранения данных, из них не менее 2 лет поддержки рабочих нагрузок AI/ML.
- Практический опыт развертывания и эксплуатации с использованием как минимум двух из следующих технологий: WEKA, VAST Data, Ceph, DDN/Lustre.
- Глубокое понимание шаблонов ввода-вывода при обучении ИИ: частота контрольных точек, загрузка наборов данных, буферы перемешивания.
- Опыт работы с высокопроизводительными сетями хранения данных (NFS over RDMA, NVMe-oF).
- Знание GPU Direct Storage и передачи данных на основе RDMA.
- Владение методами тестирования и настройки производительности хранилищ (fio, IOR, mdtest).
- Опыт внедрения многопользовательских хранилищ с изоляцией и QoS.
- Глубокие знания систем Linux (настройка ядра, внутренние компоненты файловой системы, управление блочными устройствами).
- Интуиция для превращения рутинных операций в сигналы для машинного обучения — вы либо уже внедрили детектор аномалий для телеметрии хранилища/ввода-вывода, либо можете описать метки и признаки, которые вам для этого понадобятся.
- Мышление в области исполнения инструкций в виде кода (runbook-as-code) — каждая написанная вами SOP должна быть исполняема машиной в течение квартала.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законами страны, штата и местного законодательства. Bitdeer не дискриминирует сотрудников или кандидатов по признакам расы, цвета кожи, гендерной идентичности и/или самовыражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических убеждений, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного населения и членства в профсоюзе.
