Senior Software Engineer - AI Compute, Together Cloud

Title: Senior Software Engineer - AI Compute, Together Cloud Company: Together AI Location: San Francisco

About the Role

Together AI разрабатывает AI Native Cloud — комплексную платформу для всего жизненного цикла генеративного ИИ, объединяющую самый быстрый движок для инференса LLM с передовой инфраструктурой GPU-облака. Команда Together Cloud разрабатывает флагманский IaaS-продукт Together GPU Clusters, который предоставляет высокопроизводительные GPU-кластеры, готовые к работе с ИИ, через облачную консоль самообслуживания, а также виртуализированный слой инфраструктуры, лежащий в основе продуктов Together для инференса, RL и fine-tuning.

В качестве Senior Software Engineer, специализирующегося на AI Compute в организации Together Cloud, вы будете создавать и управлять основными компонентами платформы AI-облака следующего поколения — высокодоступной глобальной облачной инфраструктурой с передовой виртуализацией новейшего ML-оборудования: GB300s/VRs, BlueField DPUs, InfiniBand и двух/четырехплоскостными сетями RoCEv2. Эта виртуализированная вычислительная платформа обеспечивает работу наших собственных SaaS-продуктов — инференса, RL и fine-tuning — и обслуживает внешних облачных клиентов через предложения самообслуживания, такие как Kubernetes/Slurm-кластеры по запросу/резервируемые, в десятках дата-центров и на сотнях тысяч GPU.

Сложные задачи в области быстрого масштабирования гетерогенных GPU-парков — это программные задачи: полностью автоматизированная загрузка GPU-дата-центров, высокопроизводительная виртуализация GPU-вычислений и сетевой трафик ЦОД без ущерба для изоляции или переносимости, а также отказоустойчивые децентрализованные плоскости управления. Мы решаем их, создавая глобальные сервисы и сервисы внутри ЦОД, Kubernetes operators, а также высокопроизводительные библиотеки SDN, форкаем гипервизоры и ядра Linux, и строим инфраструктуру, адаптированную для инференса и fine-tuning. Вы будете управлять масштабными проектами с нуля на протяжении всего их жизненного цикла — от определения проблемы и написания PRD с нашими PM, проектирования системы до её выпуска GA.

Responsibilities

• Создание стека виртуализации GPU и сетей: гипервизор, ядро и работа SDN, которые делают GPU-вычисления и сетевой трафик ЦОД высокопроизводительными, переносимыми и строго изолированными на гетерогенном оборудовании.
• Создание и поддержка нашего слоя IaaS внутри ЦОД: сервисы, Kubernetes operators и библиотеки, которые подготавливают и управляют вычислительными ресурсами, хранилищем и сетями в наших дата-центрах, включая VM, параллельные файловые системы, VPC и разделы InfiniBand. Реализация и укрепление пути загрузки для нового дата-центра Vera Rubin с тысячами GPU.
• Масштабирование распределенной системы планирования GPU и глобальной плоскости управления: сервисы плоскости управления для кластеров по запросу и резервируемых, включая автоматизацию, которая подключает новые мощности и повышает лимиты для каждого кластера.
• Укрепление слоя мониторинга и автоматизированного исправления для обеспечения отказоустойчивости: автоматическое обнаружение, изоляция и восстановление отказавших узлов, что обеспечивает отказоустойчивость распределенного претрейнинга и масштабного инференса.
• Полное управление вашими компонентами: написание проектных документов, разбиение работы на этапы, которые выпускаются инкрементально, и повышение надежности того, что уже находится в производстве.
• Повышение стандартов вокруг вас: ревью кода, обратная связь по дизайну и наставничество младших инженеров.
• Создание инструментов, на которые полагаются другие команды: фреймворки для тестирования, инструменты разработчика и документация, которые делают наши системы надежными и удобными для использования в разных командах, а также вклад в основную открытую платформу Together AI.

Чтобы добиться успеха, вам потребуется быть глубоко технически подкованным, готовым полностью управлять проектами от начала до конца, и отличным коммуникатором — сильные основы разработки программного обеспечения, глубокие знания систем и инстинкты для устранения неполадок, а также навыки сотрудничества и дипломатии для работы с различными командами.

Requirements

• Более 5 лет профессионального опыта разработки программного обеспечения, с сильным владением как минимум одним серверным языком программирования (желательно Golang).
• Подтвержденный опыт управления крупномасштабными проектами, доведенными до конца от начала до конца, написание высокопроизводительного, хорошо протестированного кода производственного качества.
• Подтвержденный опыт создания и эксплуатации высокопроизводительных и/или глобально распределенных микросервисных архитектур на одном или нескольких облачных провайдерах (AWS, Azure, GCP).
• Глубокие знания систем в области вычислений, сетей и хранения данных, включая конкурентность, управление памятью, высокопроизводительный ввод-вывод и масштабирование.
• Отличные коммуникативные навыки — способность писать четкие проектные документы и эффективно работать как с техническими, так и с нетехническими членами команды.
• Опыт создания и эксплуатации надежных, ориентированных на клиентов производственных систем в масштабе, и управление автоматизацией инфраструктуры (Terraform, Ansible), наблюдаемостью (Prometheus, Grafana) и CI/CD (GitHub Actions, ArgoCD), которые поддерживают их работоспособность.

Preferred Qualifications

• Владение внутренними механизмами Kubernetes, такими как реализация нетривиальных Kubernetes operators, плагинов для устройств/хранилищ/сетей, пользовательских планировщиков или патчей для самого Kubernetes
• Владение VM/гипервизорами, такими как QEMU/KVM, cloud-hypervisor, VFIO, virtio, PCIE passthrough, Kubevirt, SR-IOV
• Владение технологиями и решениями для сетей ЦОД, такими как VLAN, VXLAN, VPN, VPC, OVS/OVN
• Опыт работы с Cluster API или аналогичными инструментами
• Опыт работы с высокопроизводительными вычислениями, сетями и/или хранилищами данных
• Опыт виртуализации GPU и/или InfiniBand
• Опыт создания систем IaaS или PaaS в масштабе
• Опыт работы с DPU/SmartNIC
• Знание GPU-программирования, NCCL, CUDA

About Together AI

Together AI, AI Native Cloud, создан специально для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, fine-tuning и reinforcement learning для создания передовых специализированных моделей, а также пре-трейнинг в огромном масштабе для полностью кастомизированного интеллекта, и все это на базе маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.

Compensation

Мы предлагаем конкурентоспособную компенсацию, опционы в стартапе, медицинскую страховку и другие льготы, а также гибкость в отношении удаленной работы. Диапазон базовой зарплаты в США для этой полной ставки составляет: $220 000 - $270 000 + опционы + льготы. Наши диапазоны зарплат определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Equal Opportunity

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства всем, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу