(Staff / Senior Staff) AI Infra Engineer, Inference Infrastructure

Название: (Staff / Senior Staff) Инженер по инфраструктуре ИИ, инфраструктура инференса Компания: Together AI Местоположение: Сан-Франциско

О роли

Мы ищем инженера-программиста, ориентированного на надежность, но при этом способного создавать новое, который возьмет на себя ответственность за то, что происходит в продакшене с нативным для Kubernetes управляющим плоскостью, которая развертывает и управляет нашим парком GPU-инференса. Команда платформы создает управляемый манифестами API и контроллеры, которые позволяют команде инференса объявлять о своих потребностях: кластер, развертывание модели, изменение мощности — и получать их согласование. Ваша задача — обеспечить выполнение этого обещания в реальном мире: отслеживать проблемы InfiniBand, когда узлы prefill и decode останавливаются при обмене KV-кэшем через RDMA, диагностировать сбои hero-model и LoRA-serving, которые не проявляются в общих проверках работоспособности, и расширять автоматизированную систему самовосстановления, чтобы каждый новый сценарий отказа становился постоянным исправлением, а не повторяющимся вызовом.

Основная ценность, которую мы ищем, — это сохранение реальной декомпозиции даже при сбоях, а также поддержание эффективности парка без того, чтобы эта эффективность становилась новым источником нестабильности. Вы будете отвечать за SLO и бюджеты ошибок для инференса, возглавлять реагирование на инциденты и превращать уроки постмортемов в реальные изменения в контроллерах и автоматизации, а не просто обновленные руководства. Вы также будете работать над надежностью эффективности мощностей, поскольку некорректная дефрагментация или сборка мусора сама по себе является риском для продакшена. Сильные кандидаты имеют практический опыт работы с надежностью в продакшене на крупномасштабных распределенных системах или системах GPU-serving, комфортно себя чувствуют при устранении неполадок InfiniBand/RDMA и платформах на основе контроллеров/CRD Kubernetes, а также рассматривают GPU-инфраструктуру и инструменты, обеспечивающие ее надежность, как программное обеспечение, которое нужно инженерить.

Продуктовый подход применим: опыт дежурства, ясность оповещений и суждения, встроенные в автоматизированное исправление, — это то, что вы выпускаете и итерируете.

Обязанности

• Управление машиной состояний развертывания в продакшене: ответственность за работоспособность конвейера жизненного цикла хостов, обнаружение, запуск инференса, проверку драйверов GPU/CUDA, проверки работоспособности, вывод из эксплуатации/RMA, отслеживание застрявших или сбойных переходов состояний в масштабе парка и передачу реальных закономерностей сбоев обратно в то, как спроектированы состояния и переходы.
• Отладка и расширение автоматического самовосстановления: когда платформа сканирования и исправления узлов упускает что-то новое, новый сценарий отказа, проблему InfiniBand в распределенном prefill/decode serving, вариант GPU Xid, специфический для hero-model или LoRA сбой, диагностируйте его в реальном времени, обеспечьте исправление в продакшене и превратите его в новый плагин обнаружения/исправления, чтобы он работал автоматически в следующий раз.
• Обеспечение сквозной надежности конвейера: поддержание SLO и бюджетов ошибок для развертывания и работоспособности парка, руководство реагированием на инциденты, когда предположения об идемпотентности, повторных попытках, отмене или дрейфе нарушаются на практике, и обеспечение системного исправления, а не только временного.
• Партнерство с командой платформы инференса/ML с точки зрения продакшена: будьте тем, кто знает, как реальные топологии кластеров, интерконнекты и ограничения планирования фактически выходят из строя в полевых условиях, и передавайте эти сценарии отказов в качестве первоклассных требований к абстракциям платформы.
• Работайте вместе с исследователями машинного обучения, инженерами и менеджерами продуктов, чтобы внедрять наши новейшие технологии в продакшен, позволяя проводить передовые исследования благодаря выдающимся инженерным решениям.
• Внедряйте новые методы, инструменты и архитектуру, которые улучшают производительность, задержку, пропускную способность и эффективность нашего стека инференса моделей.
• Создавайте инструменты для получения представления о наших узких местах и источниках нестабильности, затем проектируйте и внедряйте решения для устранения наиболее приоритетных проблем.
• Руководство надежностью на межфункциональном уровне: выстраивайте коалицию между инфраструктурными командами, командой платформы ML и продуктовыми командами вокруг общих приоритетов надежности, управляйте заинтересованными сторонами во время инцидентов и компромиссов дорожной карты, а также представляйте точку зрения надежности в планировании, чтобы она формировала решения до их выпуска, а не после сбоя.

Требования

• Опыт эксплуатации конвейера развертывания или жизненного цикла хостов в продакшене, уверенное устранение неполадок застрявших или сбойных переходов состояний (обнаружение, запуск, проверка драйверов GPU/CUDA, проверки работоспособности, вывод из эксплуатации/RMA) в масштабе парка и преобразование реальных закономерностей сбоев в улучшения дизайна машины состояний.
• Глубокий опыт обеспечения надежности в продакшене крупномасштабных распределенных систем; опыт работы с GPU/ML-serving инфраструктурой является большим плюсом.
• Практический опыт устранения неполадок в сетях InfiniBand/RDMA, желательно в контексте многоузлового обучения или распределенного инференса — уверенное чтение счетчиков портов IB и журналов подсетевого менеджера, а не только метрик приложений.
• Знакомство с операционными реалиями многопользовательского инференса моделей (LoRA/адаптерный инференс) и с эксплуатацией дифференцированных SLO для пулов моделей разного приоритета.
• Демонстрируемый послужной список по устранению операционной рутины посредством автоматизации и инструментов, которые вы создали сами, а не только процессов или документации.
• Практический опыт работы с шаблонами контроллеров/CRD Kubernetes, циклами согласования и системами проверки/исправления на уровне узлов.
• Уверенность в работе с событийно-ориентированными архитектурами, обратным давлением/разрывом цепи и отношением к наблюдаемости (метрики, журналы, трассировки) как к чему-то, встроенному в систему, а не добавленному после инцидента.
• Прежде всего, инженерно-программный подход: вы пишете и выпускаете продакшн-код и рассматриваете GPU-инфраструктуру как программное обеспечение, которое нужно инженерить, а не как парк, который нужно эксплуатировать вручную.

О Together AI

Together AI, AI Native Cloud, создана специально для инженеров ИИ. Разработчики ИИ-приложений получают высокопроизводительный инференс, который надежно масштабируется, дообучение и обучение с подкреплением для создания специализированных моделей передового уровня, а также предварительное обучение в массовом масштабе для полностью индивидуального интеллекта, и все это на базе маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и которыми владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.

Компенсация

Мы предлагаем конкурентоспособную компенсацию, опционы стартапа, медицинскую страховку и другие конкурентоспособные льготы. Диапазон базовой зарплаты в США для этой полной позиции составляет: $250 000 - $320 000 + опционы + льготы. Наши диапазоны зарплат определяются местоположением, уровнем и ролью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства всем, независимо от расы, цвета кожи, родословной, религии, пола, национального происхождения, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и т.д.