Software Engineer, Inference / Compute Infrastructure Engineering

Должность: [Junior / Senior / Staff] Инженер-программист, Inference / Compute Infrastructure Engineering Компания: Together AI Местоположение: Сан-Франциско

О роли

Мы ищем инженера-программиста для создания нативного для Kubernetes управляющего уровня, который будет развертывать и управлять нашим парком GPU-инференса. Вы разработаете API, управляемый манифестами, где команда инференса будет объявлять, что ей нужно, будь то кластер, развертывание модели или изменение мощности, а наши контроллеры будут обрабатывать согласование, выбор провайдера/среды выполнения и управление жизненным циклом, так что команде инференса не придется знать или заботиться о том, какой конкретный стек обслуживания, планировщик или пул оборудования выполняет работу. Вы также создадите системы, которые обеспечат эффективность парка, а не только его работу, включая логику дефрагментации и перераспределения, которая консолидирует разрозненные рабочие нагрузки обратно в непрерывную емкость, и улучшения в планировании/упаковке, которые повышают утилизацию GPU, не ухудшая задержку.

Основная ценность, которую мы ищем, — это отделение людей, разрабатывающих поверх платформы, от операционной сложности и сложности среды выполнения под ней, одновременно извлекая больше полезной мощности из того же оборудования. Вы создадите контроллеры, циклы согласования и поверхность самообслуживания (API/CLI, а не заявки), которые сделают это отделение реальностью, а также системы мониторинга состояния на основе событий, устранения неполадок и использования, которые поддерживают ее работу и эффективность без участия человека. Сильные кандидаты имеют практический опыт работы с паттернами контроллеров/CRD Kubernetes, создавали или эксплуатировали API платформы, абстрагирующий несколько бэкендов за одним интерфейсом, понимают планирование GPU и эффективность мощности (фрагментация, упаковка, правильный подбор размера) и рассматривают инфраструктуру GPU как программное обеспечение, которое нужно разрабатывать.

Продуктовое мышление — вы создавали внутренние платформы или API, используемые другими командами инженеров, и заботитесь об опыте разработчика того, что вы выпускаете. Вы создаете — вы отвечаете. Вы не только отвечаете за поставку программного обеспечения, но и за его эксплуатацию и поддержку в производственной среде.

Обязанности

Создание конечного автомата для обеспечения: разработка и внедрение программного обеспечения, которое моделирует полный жизненный цикл физического хоста от обнаружения, запуска инференса до стека драйверов GPU/CUDA, проверки работоспособности и вывода из эксплуатации/RMA — в виде явных, версионированных состояний и переходов.

Создание API самообслуживания: разработка декларативных API и управляющего уровня, чтобы команда инференса могла запрашивать, масштабировать и отключать кластеры инференса одним вызовом API — без заявок, без участия человека.

Автоматизация самовосстановления: обнаружение деградировавших или отказавших узлов, их безопасное дренирование, запуск ремонта или замены и автоматическое повторное включение работоспособного оборудования в пул.

Ответственность за надежность конвейера: идемпотентность, повторные попытки, откат и обнаружение отклонений, чтобы система обеспечения была такой же надежной, как и любая другая производственная служба.

Партнерство с командой инференса/ML-платформы: понимание необходимых им форм кластеров — топологии, межсоединений, ограничений планирования — и кодирование их в виде первоклассных абстракций на платформе.

Разработка как программного обеспечения: строгая типизация, автоматизированные тесты, обзор кода, версионирование и CI/CD для инфраструктурного кода — это продукт, а не набор плейбуков Ansible.

Требования

Основные требования (все уровни):

Прочный опыт разработки программного обеспечения на Go, Python, Rust или аналогичном — вы пишете и тестируете реальное программное обеспечение для жизни.

Опыт работы с инструментами оркестрации надежных рабочих процессов, такими как Temporal, Cadence или эквивалентными, для выполнения долгоживущих, управляемых манифестами рабочих процессов, которые переживают сбои и возобновляются в середине выполнения.

Опыт создания программных управляющих уровней или систем оркестрации, которые моделируют состояние и согласовывают его с течением времени (например, контроллеры/операторы Kubernetes, пользовательские циклы согласования, движки рабочих процессов).

Опыт работы с системами, управляемыми событиями — проектирование и создание программного обеспечения на основе очередей сообщений, потоков событий или pub/sub (например, Kafka, NATS, SQS) вместо опроса или скриптов, управляемых cron.

Продуктовое мышление. Вы создавали внутренние платформы или API, используемые другими командами инженеров, и заботитесь об опыте разработчика того, что вы выпускаете.

Желательно:

Опыт работы с развертыванием bare-metal (PXE/iPXE, Redfish/IPMI, BMC) и/или основы сетевых технологий (VLAN, BGP, дизайн фабрики), или инфраструктура GPU/акселераторов.

Опыт работы с программными стеками GPU-кластеров (NCCL, CUDA, InfiniBand/RoCE).

Предыдущий опыт работы в hyperscaler, GPU-облаке или организации, занимающейся инфраструктурой в масштабе дата-центра.

Системное программирование на Rust или Go.

О Together AI

Together AI, AI Native Cloud, создан специально для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания специализированных моделей передового уровня, а также предварительное обучение в огромном масштабе для полностью настраиваемого интеллекта — все это вокруг маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обслуживает более 400 триллионов токенов в месяц.

Вознаграждение

Мы предлагаем конкурентоспособное вознаграждение, опционы стартапа, медицинскую страховку и другие конкурентные льготы. Диапазон базовой заработной платы в США для этой штатной должности составляет: 160 000–280 000 долларов США + опционы + льготы. Диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальное вознаграждение будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и т.д.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу https://www.together.ai/privacy .