Forward Deployed Infrastructure Engineer - Eastern US

Название: Инженер по инфраструктуре с выездом на места — Восточная часть США Местоположение: Удаленно

КТО МЫ

Hyperbolic Labs ставит перед собой миссию демократизировать ИИ, устраняя барьеры для вычислительных мощностей с помощью нашего облака ИИ с открытым доступом. Эффективно используя неиспользуемые вычислительные ресурсы по всему миру, мы предлагаем инновационный рынок GPU и услугу ИИ-инференса, обещающие доступность и ценовую привлекательность для всех. Будучи пионерами на стыке ИИ и технологий с открытым исходным кодом, мы верим в открытое будущее, где инновации в области ИИ ограничены только воображением, а не доступом к ресурсам. Мы ищем дальновидных специалистов, разделяющих нашу страсть к тому, чтобы сделать ИИ универсально доступным, безопасным и недорогим. Присоединяйтесь к нам в создании платформы, которая позволит новаторам по всему миру воплощать в жизнь свои визионерские ИИ-проекты.

ПРИМЕЧАНИЕ: Эта роль ориентирована на ЧАСОВОЙ ПОЯС ВОСТОЧНОЙ ЧАСТИ США

О РОЛИ

Наши клиенты используют большие многоузловые кластеры GPU, и когда эти кластеры начинают работать некорректно, проблема редко бывает простой. Вы — инженер, работающий непосредственно с этими клиентами: вы настраиваете их кластер, передаете его в эксплуатацию и остаетесь с ним.

Вы не отвечаете за тикеты. Вы отвечаете за среды. Инженеры технической поддержки отвечают за жизненный цикл тикетов и привлекают вас, когда проблема требует реальной глубины: многоузловой коллективной производительности, аппаратных сбоев, проблем с сетью или поставщика, которому нужно указать, что не так с их оборудованием.

Мы будем откровенны в одном, потому что это формирует суть работы. Мы агрегируем мощности от поставщиков, а не владеем большей частью оборудования сами. Это означает, что реальная часть этой роли — работа технического посредника: доказательство того, где на самом деле находится неисправность, представление доказательств поставщику и координация исправления от имени клиента. Инженеры, которым нравится эта роль, находят ее интересной, а не разочаровывающей.

КТО ВЫ

• Настройка и передача кластера. Создание, проверка и тестирование производительности новых клиентских кластеров, а затем их передача с документацией, которую инженеры клиента смогут использовать.
• Глубокая эскалация проблем. Отладка многоузловой производительности и NCCL, сбои GPU и оборудования (ошибки XID и ECC, lspci, dmesg), проблемы с драйверами и сетью, проблемы с контейнерами и планировщиками.
• Эскалация и координация с поставщиком. Окна обслуживания, RMA, зависшие узлы и спорное определение неисправности. Вы предоставляете доказательства, которые заставляют поставщика действовать, и информируете клиента на протяжении всего процесса.
• Непосредственное владение назначенными учетными записями. Вы — инженер, которого ваши клиенты знают по имени. Вы изучаете их рабочие нагрузки, а не только инфраструктуру, и говорите им, что изменить, прежде чем они столкнутся с проблемами.
• Проактивный мониторинг. Управление мониторингом и оповещениями, которые мы предоставляем для клиентских кластеров (Grafana, Prometheus), чтобы мы находили неисправности до того, как их сообщит клиент.
• Инструментализация и передача работы вниз. Автоматизация повторяющейся работы и превращение ваших собственных эскалаций в руководства, которые может выполнять L1-уровень. Все, что вы исправляете трижды, не должно доходить до вас.
• Глубокий опыт работы с Linux и полное владение командной строкой, в том числе в чужой неисправной среде.
• Практический опыт работы с многоузловыми GPU: NCCL, InfiniBand или RoCE, отладка коллективной производительности, топология и размещение.
• Диагностика аппаратных сбоев на узлах GPU: ошибки XID и ECC, dmesg, lspci, nvidia-smi, тепловые сбои и сбои питания.
• Опыт развертывания и эксплуатации GPU-кластеров с использованием Kubernetes, Slurm или обоих.
• Искренняя комфортная работа с клиентами, включая сообщение плохих новостей и уверенное заявление «это наша вина» или «это вина поставщика».
• Здравое суждение о том, когда стоит копать глубже, а когда следует эскалировать проблему.

Предпочтительная квалификация

• Опыт работы с параллельными файловыми системами (Weka, Lustre, GPFS) и высокопроизводительными хранилищами.
• Grafana, Prometheus или аналогичные стеки наблюдаемости в продакшене.
• Предыдущий опыт работы инженером с выездом на места, архитектором решений или менеджером по техническим учетным записям.
• Инфраструктура как код (Terraform, Ansible) и CI для развертывания кластеров.
• Опыт работы с рабочими нагрузками обучения или инференса моделей со стороны практика.

Hyperbolic является работодателем, предоставляющим равные возможности. Мы ценим разнообразие и стремимся создать инклюзивную среду для всех сотрудников.