Staff AI Scheduling & Orchestration Engineer

Старший инженер по планированию и оркестрации ИИ

Местоположение: Сан-Хосе, Калифорния / Удаленно

Тип занятости: Полная занятость Зарплата: 145000–260000 USD В ГОД

Bitdeer — ведущая мировая технологическая компания в области инфраструктуры для майнинга ИИ и Биткойна.

Bitdeer стремится предоставлять комплексные решения для майнинга Биткойна своим клиентам и создавать вычислительную инфраструктуру для ИИ, поддерживающую революцию в области ИИ. Bitdeer занимается сложными процессами, связанными с вычислениями, такими как закупка оборудования, транспортная логистика, проектирование и строительство дата-центров, управление оборудованием и ежедневные операции. Bitdeer также предлагает расширенные облачные возможности клиентам с высоким спросом на искусственный интеллект.

Штаб-квартира Bitdeer находится в Сингапуре, а дата-центры развернуты в нескольких странах, включая США, Норвегию, Бутан и Эфиопию.

Обзор должности

Мы ищем старшего инженера по планированию и оркестрации ИИ, который будет руководить логикой размещения рабочих нагрузок, определяющей нашу платформу NeoCloud, ориентированную на ИИ. Стандартное планирование Kubernetes недостаточно для удовлетворения потребностей крупномасштабного ИИ; вы будете отвечать за устранение "простоя GPU" и максимальное использование наших дорогих вычислительных кластеров. Эта роль имеет решающее значение для создания высокопроизводительной системы планирования, которая понимает физические особенности нашего оборудования — от топологий GPU, подключенных через NVLink, до межсоединений InfiniBand. Вы будете работать на стыке распределенных систем и ИИ, принимая архитектурные решения, которые позволят нашей платформе с ведущей в отрасли эффективностью обрабатывать крупномасштабное распределенное обучение и задачи вывода.

Основные обязанности

• Разработка и внедрение передовых архитектур пакетного планирования с использованием таких фреймворков, как Volcano или YuniKorn, для поддержки многоузлового группового планирования.
• Разработка и управление общекластерным контролем допуска и сложными механизмами постановки заданий в очередь с использованием Kueue для управления трафиком рабочих нагрузок ИИ в больших объемах.
• Использование динамического распределения ресурсов Kubernetes (DRA) и пользовательских плагинов планировщика для нативного управления сложными запросами ускорителей.
• Разработка топологически-осведомленных стратегий размещения подов, оптимизированных для низкозадержечной связи через NVLink и InfiniBand.
• Внедрение автоматизированных технологий совместного использования GPU (например, MIG, time-slicing) и политик изоляции мультиарендности для максимального использования кластера.
• Сотрудничество с командами GPU Systems и Storage для обеспечения тесной интеграции слоя планирования с оборудованием bare-metal и паттернами ввода-вывода хранилища.
• Обеспечение надежности и масштабируемости стека планирования, решение проблем конкуренции за ресурсы и сценариев взаимоблокировки в крупномасштабных средах HPC.
• Менторство младших инженеров и проведение обзоров дизайна для поддержания архитектурного совершенства в нашем слое оркестрации.

Квалификация

• Степень бакалавра или магистра в области компьютерных наук, электротехники или смежной области.
• Более 6 лет опыта в области распределенных систем, с глубокими практическими знаниями фреймворков планирования и оркестраторов Kubernetes.
• Обширный опыт работы с моделями выполнения рабочих нагрузок ИИ и фреймворками распределенного обучения (например, PyTorch Distributed, Ray, MPI).
• Подтвержденный опыт эксплуатации, отладки и масштабирования стеков планирования в средах высокопроизводительных вычислений (HPC) или крупномасштабных производственных облачных средах.
• Глубокое знание архитектур GPU-оборудования и специфических проблем планирования, связанных с распределенным обучением и выводом ИИ.
• Опыт работы с автоматизацией инфраструктуры и инфраструктурой как кодом (например, Terraform, Go-based Operators).
• Отличные навыки технической коммуникации и лидерства; способность влиять на кросс-функциональные команды и согласовывать архитектурные цели.
• Способность работать в быстро меняющейся инженерной среде и преобразовывать сложные, неоднозначные требования в конкретные, масштабируемые инженерные решения.

Bitdeer стремится предоставлять равные возможности трудоустройства в соответствии с законодательством страны, штата и местными законами. Bitdeer не дискриминирует сотрудников или кандидатов по признакам расы, цвета кожи, гендерной идентичности и/или выражения, сексуальной ориентации, семейного и/или родительского статуса, религии, политических убеждений, национальности, этнического происхождения или социального происхождения, социального статуса, инвалидности, возраста, статуса коренного населения и членства в профсоюзе.