Senior/Junior AI Inference Reliability Engineer, Compute Infra

Мы ищем инженера-программиста, ориентированного на надежность, но при этом способного создавать новое, который будет отвечать за то, что происходит в продакшене с нативным для Kubernetes управляющим самолетом, который подготавливает и запускает наш парк GPU-инференса. Платформенная команда создает API и контроллеры на основе манифестов, которые позволяют команде инференса объявлять то, что им нужно: кластер, развертывание модели, изменение емкости, и получать это внизу. Ваша задача — сохранить это обещание в реальном мире: устранять проблемы InfiniBand, когда узлы prefill и decode замирают при обмене KV-кэшем через RDMA, диагностировать сбои hero-model и LoRA-serving, которые не проявляются в общих проверках работоспособности, и расширять автоматизированную систему самовосстановления, чтобы каждый новый режим сбоя становился постоянным исправлением, а не повторяющимся оповещением.

Основная ценность, которую мы ищем, — это сохранение реального разделения даже тогда, когда все ломается, и поддержание эффективности парка без того, чтобы эта эффективность становилась новым источником нестабильности. Вы будете отвечать за SLO и бюджеты ошибок для инференс-сервинга, руководить реагированием на инциденты и превращать уроки постмортемов в реальные изменения в контроллерах и автоматизации, а не просто обновлять руководства по эксплуатации. Вы также будете работать над надежностью эффективности емкости, поскольку неправильная настройка дефрагментации или упаковки в корзину сама по себе является производственным риском. Сильные кандидаты имеют практический опыт обеспечения надежности в продакшене на крупномасштабных распределенных системах или системах GPU-сервинга, комфортно чувствуют себя при устранении неполадок с InfiniBand/RDMA и платформами на основе контроллеров/CRD Kubernetes, а также рассматривают GPU-инфраструктуру и инструменты, обеспечивающие ее надежность, как программное обеспечение, которое нужно инженерить.

Применяется продуктовый подход: опыт работы по вызову, ясность оповещения и суждение, заложенное в автоматизированное исправление — это то, что вы выпускаете и итерируете.

Together AI, AI Native Cloud, создан специально для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания передовых специализированных моделей, а также предварительное обучение в огромных масштабах для полностью кастомного интеллекта — все это вокруг маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обслуживает более 400 триллионов токенов в месяц.

• Эксплуатировать машину состояний подготовки в продакшене: отвечать за работоспособность конвейера жизненного цикла хоста, обнаружение, запуск инференса, проверку драйверов GPU/CUDA, проверки работоспособности, вывод из эксплуатации/RMA, устранение застрявших или неудавшихся переходов состояний в масштабах парка и передачу реальных паттернов сбоев обратно в то, как спроектированы состояния и переходы
• Устранять и расширять автоматическое самовосстановление: когда платформа сканирования и восстановления узлов пропускает что-то, новый режим сбоя, проблему InfiniBand в дисагрегированном prefill/decode serving, вариант Xid GPU, специфическую для hero-model или LoRA ошибку, диагностировать ее в реальном времени, довести исправление до продакшена и превратить его в новый плагин для обнаружения/восстановления, чтобы в следующий раз это было автоматически
• Обеспечивать сквозную надежность конвейера: управлять SLO и бюджетами ошибок для подготовки и работоспособности парка, руководить реагированием на инциденты, когда идемпотентность, повторные попытки, откаты или предположения о дрейфе нарушаются на практике, и добиваться системного исправления, а не только горячего исправления
• Сотрудничать с командой инференса/ML-платформы с производственной стороны: быть тем, кто знает, как реальные топологии кластера, интерконнекты и ограничения планирования на самом деле выходят из строя в полевых условиях, и передавать эти режимы сбоев в качестве первоклассных требований к абстракциям платформы
• Работать вместе с исследователями машинного обучения, инженерами и менеджерами продуктов, чтобы внедрять наши новейшие технологии в продакшен, обеспечивая продвинутые исследования с помощью отличного инжиниринга
• Внедрять новые методы, инструменты и архитектуру, которые улучшают производительность, задержку, пропускную способность и эффективность нашего стека инференса моделей
• Создавать инструменты для обеспечения видимости наших узких мест и источников нестабильности, затем проектировать и внедрять решения для устранения наиболее приоритетных проблем
• Руководить обеспечением надежности на межфункциональном уровне: строить коалицию между командами infra, ML-платформы и продуктов вокруг общих приоритетов надежности, управлять заинтересованными сторонами во время инцидентов и компромиссов дорожной карты, а также представлять точку зрения надежности при планировании, чтобы она формировала решения до их выпуска, а не после сбоя

• Опыт эксплуатации конвейера подготовки или жизненного цикла хоста в продакшене, комфортное устранение неполадок застрявших или неудавшихся переходов состояний (обнаружение, запуск, проверка драйверов GPU/CUDA, проверки работоспособности, вывод из эксплуатации/RMA) в масштабах парка и перевод реальных паттернов сбоев обратно в улучшения дизайна машины состояний
• Глубокий опыт обеспечения надежности в продакшене крупномасштабных распределенных систем; опыт работы с GPU/ML-сервисной инфраструктурой является большим плюсом
• Практический опыт устранения неполадок в сети InfiniBand/RDMA, желательно в контексте многоузлового обучения или дисагрегированного инференса — комфортное чтение счетчиков портов IB и логов subnet manager, а не только метрик приложений
• Знакомство с операционными реалиями многопользовательского обслуживания моделей (LoRA/адаптерное обслуживание) и с выполнением дифференцированных SLO для пулов моделей разного приоритета
• Демонстрируемый опыт устранения операционной рутины с помощью автоматизации и инструментов, которые вы создали самостоятельно, а не только процессов или документации
• Практический опыт работы с паттернами контроллеров/CRD Kubernetes, циклами сверки и системами проверки/восстановления на уровне узлов
• Комфортное использование событийно-ориентированных архитектур, проектирования backpressure/circuit-breaking и рассмотрение наблюдаемости (метрики, логи, трассировки) как чего-то встроенного в систему, а не добавленного после инцидента
• Прежде всего, инженерно-программный подход: вы пишете и выпускаете производственный код, и вы рассматриваете GPU-инфраструктуру как программное обеспечение, которое нужно инженерить, а не как парк, которым нужно управлять вручную

Местоположение: Сан-Франциско

Мы предлагаем конкурентоспособную компенсацию, акции стартапа, медицинскую страховку и другие конкурентоспособные льготы. Диапазон базовой заработной платы в США для этой штатной должности составляет: $160 000 - $280 000 + акции + льготы. Наши диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.