Senior or Staff Software Engineer, Inference / Compute Infrastructure Engineering

Должность: Старший или Ведущий инженер-программист, Инфраструктура вычислений / Выводы Компания: Together AI Местоположение: Удаленно / Индия

О роли

УДАЛЕННО В ИНДИИ

Мы ищем инженера-программиста для создания нативного для Kubernetes управляющего самолета, который обеспечивает и управляет нашим парком GPU-выводов. Вы разработаете API, управляемый манифестами, где команда выводов декларирует, что им нужно — будь то кластер, развертывание модели или изменение емкости — а наши контроллеры позаботятся об унификации, выборе провайдера/среды выполнения и управлении жизненным циклом, так что команда выводов никогда не будет знать или заботиться о том, какая конкретная обслуживающая структура, планировщик или пул оборудования выполняет работу. Вы также создадите системы, которые делают парк эффективным, а не просто работающим, включая логику дефрагментации и ребалансировки, которая консолидирует разрозненные рабочие нагрузки обратно в непрерывную емкость, и улучшения планирования/упаковки, которые повышают утилизацию GPU, не ухудшая задержку. Основная ценность, которую мы ищем, — это отделение людей, создающих поверх платформы, от операционной сложности и сложности среды выполнения под ней, одновременно выжимая больше полезной емкости из того же оборудования. Вы создадите контроллеры, циклы унификации и поверхность самообслуживания (API/CLI, а не заявки), которые делают это отделение реальным, а также системы здоровья, исправления и использования, управляемые событиями, которые поддерживают работу и эффективность без вмешательства человека. Сильные кандидаты имеют практический опыт работы с шаблонами контроллеров/CRD Kubernetes, создавали или управляли API платформы, который абстрагирует множество внутренних систем за одним интерфейсом, понимают планирование GPU и эффективность емкости (фрагментация, упаковка, правильный размер) и рассматривают GPU-инфраструктуру как программное обеспечение, которое нужно инженерить.

Продуктовое мышление — вы создавали внутренние платформы или API, потребляемые другими инженерными командами, и заботитесь об опыте разработчика того, что вы выпускаете. Вы создаете это, вы этим владеете. Вы несете ответственность не только за предоставление программного обеспечения, но и за его эксплуатацию и поддержку в производственной среде.

Обязанности

• Создание машины состояний подготовки: проектирование и реализация программного обеспечения, которое моделирует полный жизненный цикл физического хоста от обнаружения, запуска выводов до стека драйверов GPU/CUDA, проверки работоспособности и вывода из эксплуатации/RMA — как явные, версионированные состояния и переходы.
• Создание API самообслуживания: проектирование декларативных API и управляющего самолета, чтобы команда выводов могла запрашивать, масштабировать и выводить из эксплуатации кластеры выводов одним вызовом API — без заявок, без участия человека.
• Автоматизация самовосстановления: обнаружение деградировавших или вышедших из строя узлов, безопасное их опорожнение, инициирование ремонта или замены и автоматическое повторное введение работоспособной емкости в пул.
• Ответственность за надежность конвейера: идемпотентность, повторные попытки, откат и обнаружение отклонений, чтобы система подготовки была такой же надежной, как и любая другая производственная служба.
• Сотрудничество с командой платформы выводов/ML: понимание необходимых им форм кластеров — топологии, межсоединений, ограничений планирования — и кодирование их в качестве первоклассных абстракций на платформе.
• Инженерия как программное обеспечение: строгая типизация, автоматизированное тестирование, обзор кода, версионирование и CI/CD для инфраструктурного кода — это продукт, а не набор плейбуков Ansible.

Требования

Основные требования (все уровни):

• Прочный опыт разработки программного обеспечения на Go, Python, Rust или аналогичных языках — вы пишете и тестируете реальное программное обеспечение для жизни.
• Опыт работы с инструментами оркестрации долгоживущих рабочих процессов, такими как Temporal, Cadence или эквивалентами, для выполнения долгоживущих рабочих процессов, управляемых манифестами, которые переживают сбои и возобновляются в середине выполнения.
• Опыт создания управляющих самолетов программного обеспечения или систем оркестрации, которые моделируют состояние и унифицируют его со временем (например, контроллеры/операторы Kubernetes, пользовательские циклы унификации, движки рабочих процессов).
• Опыт работы с системами, управляемыми событиями — проектирование и создание программного обеспечения на основе очередей сообщений, потоков событий или pub/sub (например, Kafka, NATS, SQS), а не опроса или скриптов, управляемых cron.
• Продуктовое мышление. Вы создавали внутренние платформы или API, потребляемые другими инженерными командами, и заботитесь об опыте разработчика того, что вы выпускаете.

Приветствуется:

• Опыт работы с подготовкой bare-metal (PXE/iPXE, Redfish/IPMI, BMC) и/или базовые знания сетей (VLAN, BGP, проектирование фабрик) или инфраструктуры GPU/акселераторов.
• Опыт работы со стеками программного обеспечения GPU-кластеров (NCCL, CUDA, InfiniBand/RoCE).
• Предыдущая работа в hyperscaler, GPU-облаке или организации с инфраструктурой масштаба дата-центра.
• Системное программирование на Rust или Go.

О Together AI

Together AI, AI Native Cloud, специально создан для AI-инженеров. Разработчики AI-приложений получают высокопроизводительные выводы, которые надежно масштабируются, тонкую настройку и обучение с подкреплением для создания специализированных моделей передового уровня, и предварительное обучение в огромном масштабе для полностью настраиваемого интеллекта, все вокруг торговой площадки ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обслуживает более 400 триллионов токенов в месяц.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, родословной, религии, пола, национального происхождения, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу .