Staff Software Engineer - AI Compute, Together Cloud

Должность: Ведущий инженер-программист - AI Compute, Together Cloud Компания: Together AI Местоположение: Сан-Франциско

О вакансии

Together AI создает AI Native Cloud — комплексную платформу для полного жизненного цикла генеративного ИИ, объединяющую самый быстрый движок инференса LLM с передовой инфраструктурой GPU-облака. Команда Together Cloud создает флагманский IaaS-продукт Together GPU Clusters, который предоставляет высокопроизводительные, готовые к ИИ GPU-кластеры через консоль самообслуживания, а также уровень виртуализированной инфраструктуры, обеспечивающий работу продуктов Together для инференса, RL и fine-tuning.

В качестве ведущего инженера-программиста, специализирующегося на AI Compute в организации Together Cloud, вы будете определять техническое направление и создавать основные компоненты платформы AI-облака следующего поколения — высокодоступную глобальную облачную инфраструктуру с передовой виртуализацией новейшего ML-оборудования: GB300s/VRs, BlueField DPUs, InfiniBand и сетевых платформ RoCEv2 с двойной/четырехплоскостной архитектурой. Эта виртуализированная вычислительная платформа обеспечивает работу наших собственных SaaS-продуктов — инференса, RL и fine-tuning — и обслуживает внешних облачных клиентов через предложения самообслуживания, такие как кластеры Kubernetes/Slurm по запросу/резервируемые, в десятках дата-центров и сотнях тысяч GPU.

Это роль архитектора и разработчика. Полностью автоматизированная загрузка GPU-дата-центров, высокопроизводительная виртуализация GPU-вычислений и сетевой инфраструктуры ЦОД без ущерба для изоляции или переносимости, а также отказоустойчивые децентрализованные плоскости управления — вы определите архитектуру для всего этого в наших глобальных сервисах и сервисах внутри ЦОД, и будете ключевым владельцем самых сложных частей, как в коде, так и в дизайне. Ваши проекты будут охватывать уровень IaaS нового дата-центра Vera Rubin до глобальной плоскости управления, которая распределяет мощности по всем ним. На этом уровне работа дает такой же рычаг, как и код: стандарты, которые вы устанавливаете, и инженеры, которых вы развиваете, определяют, как быстро работает вся остальная часть Together Cloud.

Обязанности

• Управление стеком виртуализации GPU и сети: гипервизор, ядро и SDN-решения, обеспечивающие высокую производительность, переносимость и надежную изоляцию GPU-вычислений и сетевой инфраструктуры ЦОД на разнородном оборудовании.
• Управление уровнем IaaS внутри ЦОД: проектирование и определение дорожной карты сервисов, операторов Kubernetes и библиотек, которые предоставляют и управляют вычислительными ресурсами, хранилищами и сетями в наших дата-центрах — виртуальные машины, параллельные файловые системы, VPC, разделы InfiniBand; руководство их развертыванием для нового дата-центра Vera Rubin с тысячами GPU, от ввода оборудования в эксплуатацию до API для конечных пользователей.
• Проектирование плоскости планирования GPU и глобального управления: распределенная плоскость управления, обеспечивающая работу кластеров по запросу и резервируемых в десятках дата-центров, включая системы, которые масштабируют ограничения на кластер и автоматизируют ввод новых мощностей.
• Архитектура мониторинга и автоматического устранения неисправностей для отказоустойчивости: стратегия автоматического обнаружения, изоляции и восстановления вышедших из строя узлов, которая обеспечивает работу распределенного предварительного обучения и масштабного инференса при сбоях оборудования.
• Определение технического направления между командами: проведение ревью дизайна, разрешение междисциплинарных архитектурных разногласий, устранение зависимостей между командами и рисков интеграции, а также определение стандартов, на основе которых строят работу другие инженеры — измеряется надежностью кластера, временем получения первого GPU на новых мощностях и качеством в масштабе.
• Развитие команды: наставничество старших и младших инженеров, углубление экспертизы команды в области виртуализации, сетевой инфраструктуры ЦОД и GPU-инфраструктуры, а также помощь в повышении планки найма для Together Cloud.
• Установление инженерного стандарта: создание фреймворков тестирования, инструментов и документации для разработчиков, которые делают наши системы надежными и удобными для использования другими командами, и формирование основного, открытого (open-source) платформы Together AI.

Для успеха вам потребуется глубокая техническая подготовка и отличные коммуникативные навыки — фундаментальные знания в области разработки ПО, глубокое понимание систем и инстинкты поиска и устранения неисправностей, а также лидерские качества и дипломатичность для согласования работы команд, которые вам не подчиняются. Большая часть этой работы начинается с неопределенности, и мы ожидаем, что вы сами определите объем работ и доведете его до продакшена.

Требования

• Более 7 лет профессионального опыта в разработке программного обеспечения, с экспертным уровнем владения как минимум одним бэкэнд-языком (предпочтительно Golang), написанием высокопроизводительного, хорошо протестированного кода производственного качества.
• Подтвержденный опыт владения архитектурой крупных распределенных систем от начального этапа до продакшена в масштабе, включая принятие решений, которые нельзя было легко отменить.
• Глубокий опыт создания и эксплуатации глобально распределенных, высокопроизводительных микросервисных архитектур в одном или нескольких облачных провайдерах (AWS, Azure, GCP).
• Глубокие знания систем в области вычислений, сетей и хранения данных — включая конкурентность, управление памятью, высокопроизводительный ввод-вывод и масштабирование на глобальном уровне.
• Продемонстрированное техническое лидерство за пределами ваших собственных коммитов: наставничество старших инженеров, проведение ревью дизайна и достижение согласованности между командами, которые вам не подчиняются.
• Отличные коммуникативные навыки и дипломатия — способность писать проектные документы, которые разрешают споры, и эффективно работать с техническими и нетехническими заинтересованными сторонами.
• Опыт создания и эксплуатации надежных, клиентских производственных систем в масштабе, а также владение автоматизацией инфраструктуры (Terraform, Ansible), наблюдаемостью (Prometheus, Grafana) и CI/CD (GitHub Actions, ArgoCD), которые поддерживают их работоспособность.

Предпочтительные квалификации (не обязательные)

• Глубокий опыт работы с внутренними компонентами Kubernetes, такой как реализация нетривиальных операторов Kubernetes, плагинов для устройств/хранилищ/сетей, пользовательских планировщиков или патчей для самого Kubernetes.
• Глубокий опыт работы с виртуальными машинами/гипервизорами, такими как QEMU/KVM, cloud-hypervisor, VFIO, virtio, PCIE passthrough, Kubevirt, SR-IOV.
• Глубокий опыт работы с технологиями и решениями для сетевой инфраструктуры ЦОД, такими как VLAN, VXLAN, VPN, VPC, OVS/OVN.
• Опыт работы с Cluster API или аналогичными технологиями.
• Опыт работы с высокопроизводительными вычислениями, сетями и/или хранилищами.
• Опыт виртуализации GPU и/или InfiniBand.
• Опыт создания систем IaaS или PaaS в масштабе.
• Опыт работы с DPU/SmartNIC.
• Знания в области GPU-программирования, NCCL, CUDA.

О Together AI

Together AI — это научно-исследовательская компания в области искусственного интеллекта. Мы верим, что открытые и прозрачные системы ИИ будут стимулировать инновации и приводить к наилучшим результатам для общества, и вместе мы стремимся значительно снизить стоимость современных систем ИИ путем совместной разработки программного обеспечения, оборудования, алгоритмов и моделей. Мы внесли свой вклад в ведущие исследования, модели и наборы данных с открытым исходным кодом для продвижения границы ИИ, и наша команда стоит за технологическими достижениями, такими как FlashAttention, Hyena, FlexGen и RedPajama. Мы приглашаем вас присоединиться к увлеченной команде исследователей в нашем путешествии по созданию инфраструктуры ИИ следующего поколения.

Компенсация

Мы предлагаем конкурентную компенсацию, опционы стартапа, медицинскую страховку и другие льготы, а также гибкость в отношении удаленной работы. Диапазон базовой заработной платы в США для этой позиции на полный рабочий день составляет: $260 000 - $300 000 + опционы + льготы. Диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу