Старший инженер по инфраструктуре AI-хранилищ
Местоположение: Сингапур, SG
Компания: Bitdeer Technologies Group
Тип занятости: Полная занятость
О Bitdeer:
Bitdeer — ведущая мировая технологическая компания в области майнинга биткойнов и облачных вычислений для искусственного интеллекта.
Bitdeer стремится предоставлять комплексные решения для майнинга биткойнов своим клиентам. Помимо разработки ведущих в отрасли ASIC-чипов и производства майнингового оборудования, Группа занимается сложными процессами, связанными с вычислениями по всей цепочке создания стоимости. Это включает закупку оборудования, транспортную логистику, проектирование и строительство центров обработки данных, управление оборудованием, а также эксплуатацию сетей и объектов. Bitdeer также предлагает передовые облачные возможности для клиентов с высоким спросом на искусственный интеллект.
Со штаб-квартирой в Сингапуре, Bitdeer работает по всему миру, имея диверсифицированный энергетический портфель мощностью 3 ГВт, и развертывает центры обработки данных для майнинга биткойнов и HPC в США, Бутане, Норвегии, Канаде, Малайзии и Эфиопии.
Ваши обязанности:
- Разработка, развертывание и поддержка надежных драйверов CSI (Container Storage Interface) для высокопроизводительных параллельных файловых систем (например, Weka, Lustre, DAOS, VAST).
- Архитектура и внедрение интеграций GPUDirect Storage (GDS) для обеспечения прямого доступа к памяти (DMA) между NVMe-накопителями и памятью GPU, минуя узкие места CPU.
- Разработка и управление стратегиями локального кэширования NVMe для быстрой загрузки с низкой задержкой массивных весов моделей и наборов данных во время распределенного обучения.
- Оптимизация профилей IOPS, пропускной способности и задержки во всем стеке контейнеризированных хранилищ, от массива хранения данных до среды выполнения контейнеров.
- Сотрудничество с командой GPU Systems & Fabric для обеспечения полной оптимизации уровня хранения данных для RDMA и высокоскоростных межсоединений (InfiniBand, RoCE).
- Внедрение автоматизированного мониторинга и оповещения о производительности хранилища, обнаружение и устранение проблем с конкуренцией за ввод-вывод или деградацией оборудования до того, как они повлияют на производственные задания.
- Определение политик хранения данных, управление квотами и стратегий изоляции мультиарендности в Kubernetes для обеспечения справедливого распределения ресурсов для рабочих нагрузок клиентов.
- Менторство младших инженеров и проведение обзоров архитектурного дизайна для поддержания высоких стандартов надежности и производительности в команде инфраструктуры.
Как вы можете выделиться:
- Степень бакалавра или магистра в области компьютерных наук, электротехники или смежной области.
- Более 5 лет опыта работы с распределенными системами хранения данных и высокопроизводительными файловыми системами, с глубоким пониманием соответствия POSIX и семантики файлового ввода-вывода.
- Глубокие экспертные знания в парадигме Kubernetes CSI, включая создание или расширение плагинов томов и операторов хранения данных.
- Значительный практический опыт работы с блочным/файловым вводом-выводом на уровне ОС Linux и настройкой производительности на уровне ядра.
- Знакомство с сетевыми протоколами с высокой пропускной способностью (RDMA, InfiniBand, RoCE) и их взаимодействием с подсистемами хранения данных.
- Подтвержденный опыт эксплуатации, отладки и масштабирования крупномасштабных сред хранения данных в производственных или HPC-средах.
- Опыт работы с инструментами автоматизации инфраструктуры (например, Terraform, Ansible) и конвейерами CI/CD.
- Отличные навыки технического общения, способность влиять на межфункциональные архитектурные решения.
- Опыт работы в высокоскоростных, быстрорастущих инженерных средах является большим преимуществом.
Что вы получите, работая с нами:
- Культура, ценящая аутентичность и разнообразие мыслей и происхождения;
- Инклюзивная и уважительная среда с открытыми рабочими пространствами и захватывающим стартап-духом;
- Быстрорастущая компания с возможностью общения с лидерами отрасли и энтузиастами;
- Возможность вносить прямой вклад и оказывать влияние на будущее индустрии цифровых активов;
- Участие в новых проектах, разработка процессов/систем;
- Личная ответственность, автономия, быстрый рост и возможности обучения;
- Привлекательные социальные льготы и возможности для развития, такие как обучение и наставничество.
Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законами страны, штата и местными законами. Bitdeer не дискриминирует сотрудников или соискателей по признакам расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических взглядов, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного жителя и членства в профсоюзе.
