Senior AI Storage Infrastructure Engineer

Старший инженер по инфраструктуре хранения данных для ИИ

Местоположение: Сан-Хосе, Калифорния / Удаленно
Компания: Bitdeer Technologies Group
Тип занятости: Полная занятость
Зарплата: 180000–260000 USD в год

Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для майнинга биткойнов и ИИ.

Bitdeer стремится предоставлять комплексные решения для майнинга биткойнов своим клиентам и создавать вычислительную инфраструктуру для ИИ, поддерживающую революцию в области ИИ. Bitdeer управляет сложными вычислительными процессами, такими как закупка оборудования, транспортная логистика, проектирование и строительство дата-центров, управление оборудованием и повседневная эксплуатация. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.

Штаб-квартира Bitdeer находится в Сингапуре, а дата-центры развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.

Обзор позиции

Мы ищем старшего инженера по инфраструктуре хранения данных для ИИ, который займется созданием критически важной подсистемы доставки данных для нашей ИИ-ориентированной платформы NeoCloud. Обучение и инференс моделей ИИ требуют интенсивного ввода-вывода; вы будете отвечать за проектирование высокопроизводительных решений для хранения данных, которые устраняют узкие места и гарантируют постоянную загрузку GPU данными. Эта роль находится на стыке распределенных систем хранения данных, ввода-вывода на уровне ядра и оркестрации Kubernetes. Вы будете проектировать пути — от локального кэширования на базе NVMe для огромных весов LLM до интеграции параллельных файловых систем — которые обеспечивают бесшовный доступ с низкой задержкой для крупномасштабных распределенных рабочих нагрузок обучения и инференса.

Ключевые обязанности

• Проектирование, развертывание и поддержка надежных драйверов CSI (Container Storage Interface) для высокопроизводительных параллельных файловых систем (например, Weka, Lustre, DAOS, VAST).
• Архитектура и внедрение интеграций GPUDirect Storage (GDS) для обеспечения прямого доступа к памяти (DMA) между накопителями NVMe и памятью GPU, минуя узкие места CPU.
• Разработка и управление стратегиями локального кэширования NVMe для быстрой загрузки с низкой задержкой огромных весов моделей и наборов данных во время распределенного обучения.
• Оптимизация IOPS, пропускной способности и профилей задержек во всем стеке контейнерных систем хранения данных, от дисковых массивов до среды выполнения контейнеров.
• Сотрудничество с командой GPU Systems & Fabric для обеспечения полной оптимизации уровня хранения данных для RDMA и высокоскоростных межсоединений (InfiniBand, RoCE).
• Внедрение автоматизированного мониторинга и оповещения о производительности систем хранения данных, выявление и устранение проблем с конкуренцией за ввод-вывод или деградацией оборудования до того, как они повлияют на производственные задания.
• Определение политик хранения данных, управления квотами и стратегий изоляции мультиарендности в Kubernetes для обеспечения справедливого распределения ресурсов для клиентских рабочих нагрузок.
• Менторство младших инженеров и проведение обзоров архитектурного дизайна для поддержания высоких стандартов надежности и производительности в команде инфраструктуры.

Квалификация

• Степень бакалавра или магистра в области компьютерных наук, электротехники или смежной области.
• Опыт работы в распределенных системах хранения данных и высокопроизводительных файловых системах от 5 лет, с глубоким пониманием соответствия стандарту POSIX и семантики файлового ввода-вывода.
• Глубокие знания парадигмы Kubernetes CSI, включая создание или расширение плагинов томов и операторов хранения данных.
• Значительный практический опыт работы с блочным/файловым вводом-выводом на уровне ОС Linux и тонкой настройки производительности на уровне ядра.
• Знакомство с протоколами высокопроизводительных сетей (RDMA, InfiniBand, RoCE) и их взаимодействием с подсистемами хранения данных.
• Подтвержденный опыт эксплуатации, отладки и масштабирования крупномасштабных сред хранения данных в производственных условиях или в высокопроизводительных вычислениях (HPC).
• Опыт работы с инструментами автоматизации инфраструктуры (например, Terraform, Ansible) и конвейерами CI/CD.
• Отличные навыки технического общения, способность влиять на межфункциональные архитектурные решения.
• Желателен опыт работы в динамичных, быстрорастущих инженерных средах.

Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законодательством страны, штата и местными законами. Bitdeer не допускает дискриминации сотрудников или соискателей по таким признакам, как раса, цвет кожи, гендерная идентичность и/или выражение, сексуальная ориентация, семейное и/или родительское положение, религия, политические убеждения, национальность, этническое происхождение или социальное происхождение, социальный статус, инвалидность, возраст, статус коренного жителя и членство в профсоюзе.