Должность: Ведущий инженер-программист — AI Compute, Together Cloud
Компания: Together AI
Местоположение: Амстердам
О вакансии
Together AI создает AI Native Cloud — комплексную платформу для полного жизненного цикла генеративного ИИ, объединяющую самый быстрый движок для инференса LLM с передовой инфраструктурой GPU-облака. Команда Together Cloud создает флагманский IaaS-продукт Together GPU Clusters, который предоставляет высокопроизводительные GPU-кластеры, готовые для ИИ, через облачную консоль самообслуживания, а также слой виртуализированной инфраструктуры, обеспечивающий работу продуктов Together для инференса, RL и тонкой настройки.
В качестве ведущего инженера-программиста, специализирующегося на AI Compute в организации Together Cloud, вы будете определять техническое направление и создавать основные компоненты платформы AI-облака нового поколения — высокодоступную глобальную облачную инфраструктуру с передовой виртуализацией новейшего ML-оборудования: GB300/VR, DPUs BlueField, InfiniBand и сетей RoCEv2 с двойной/четырехплоскостной конфигурацией. Эта виртуализированная вычислительная платформа обеспечивает работу наших собственных SaaS-продуктов — инференса, RL и тонкой настройки — и обслуживает внешних облачных клиентов через предложения самообслуживания, такие как кластеры Kubernetes/Slurm по запросу/резервированию, в десятках дата-центров и на сотнях тысяч GPU.
Это роль архитектора и строителя. Полностью автоматизированная загрузка GPU-дата-центров, высокопроизводительная виртуализация GPU-вычислений и сетевых подключений дата-центров без ущерба для изоляции или переносимости, а также отказоустойчивые децентрализованные управляющие плоскости — вы будете определять архитектуру для этих компонентов в наших глобальных и внутридатацентровых сервисах и будете ключевым владельцем самых сложных частей, как в коде, так и в дизайне. Ваши проекты будут охватывать уровень IaaS нового дата-центра Vera Rubin до глобальной управляющей плоскости, которая распределяет мощности между всеми ними. На этом уровне работа дает такой же рычаг, как и код: стандарты, которые вы устанавливаете, и инженеры, которых вы развиваете, определяют, как быстро будет развиваться остальная часть Together Cloud.
Обязанности
- Управление стеком виртуализации GPU и сетей: гипервизором, ядром и SDN-компонентами, которые обеспечивают высокую производительность, переносимость и надежную изоляцию GPU-вычислений и сетевых подключений дата-центров на гетерогенном оборудовании.
- Управление внутридатацентровым IaaS-слоем: разработка архитектуры и дорожной карты для сервисов, операторов Kubernetes и библиотек, которые обеспечивают подготовку и управление вычислениями, хранилищем и сетями в наших дата-центрах — ВМ, параллельных файловых систем, VPC и разделов InfiniBand; руководство их созданием для нового дата-центра Vera Rubin с тысячами GPU, от запуска оборудования до API для клиентов.
- Проектирование планировщика GPU и глобальной управляющей плоскости: распределенная управляющая плоскость для кластеров по запросу и резервирования в десятках дата-центров, включая системы, которые масштабируют ограничения кластера и автоматизируют ввод новых мощностей.
- Архитектура мониторинга и автоматизированного устранения неисправностей для отказоустойчивости: стратегия автоматического обнаружения, изоляции и восстановления отказавших узлов, которая обеспечивает бесперебойную работу распределенного предварительного обучения и крупномасштабного инференса при сбоях оборудования.
- Определение технического направления между командами: проведение ревью дизайна, разрешение междисциплинарных архитектурных разногласий, устранение зависимостей и рисков интеграции между командами, а также определение стандартов, на основе которых строят другие инженеры — измеряемых по надежности кластера, времени до первого GPU на новых мощностях и качеству в масштабе.
- Развитие команды: наставничество старших и младших инженеров, углубление экспертизы команды в области виртуализации, сетевых технологий дата-центров и GPU-инфраструктуры, а также помощь в повышении планки найма для Together Cloud.
- Установление инженерных стандартов: создание фреймворков тестирования, инструментов и документации для разработчиков, которые делают наши системы надежными и удобными для использования другими командами, а также формирование основной открытой платформы Together AI.
Для достижения успеха вам потребуется глубокое техническое понимание и отличные коммуникативные навыки — фундаментальные знания в области разработки ПО, глубокое понимание систем и инстинкты в устранении неполадок, а также лидерские качества и дипломатия для согласования действий команд, которые вам не подчиняются. Большая часть этой работы начинается с неопределенности, и мы ожидаем, что вы сами определите ее объем и доведете до производства.
Требования
- Более 7 лет профессионального опыта разработки ПО, с экспертным уровнем владения как минимум одним серверным языком программирования (предпочтительно Golang), написания высокопроизводительного, хорошо протестированного кода производственного качества.
- Опыт владения архитектурой крупных распределенных систем от концепции до промышленного внедрения в масштабе, включая принятие решений, которые нельзя было легко отменить.
- Глубокий опыт создания и эксплуатации глобально распределенных, высокопроизводительных микросервисных архитектур в одном или нескольких облачных провайдерах (AWS, Azure, GCP).
- Глубокие системные знания в области вычислений, сетей и хранения данных — включая параллелизм, управление памятью, производительный ввод-вывод и масштабирование на глобальном уровне.
- Продемонстрированное техническое лидерство, выходящее за рамки ваших собственных коммитов: наставничество старших инженеров, проведение ревью дизайна и достижение согласованности между командами, которые вам не подчиняются.
- Отличные коммуникативные навыки и дипломатия — способность писать проектные документы, которые разрешают споры, и эффективно работать как с техническими, так и с нетехническими заинтересованными сторонами.
- Опыт создания и эксплуатации надежных, клиентских производственных систем в масштабе, а также владение автоматизацией инфраструктуры (Terraform, Ansible), наблюдаемостью (Prometheus, Grafana) и CI/CD (GitHub Actions, Argo CD), которые поддерживают их работоспособность.
Предпочтительные квалификации (не обязательные)
- Глубокий опыт работы с внутренними механизмами Kubernetes, например, реализация нетривиальных операторов Kubernetes, плагинов для устройств/хранилищ/сетей, пользовательских планировщиков или патчей самого Kubernetes.
- Глубокий опыт работы с ВМ/гипервизорами, такими как QEMU/KVM, cloud-hypervisor, VFIO, virtio, PCIE passthrough, Kubevirt, SR-IOV.
- Глубокий опыт работы с технологиями и решениями для сетевых подключений в дата-центрах, такими как VLAN, VXLAN, VPN, VPC, OVS/OVN.
- Опыт работы с Cluster API или аналогичными инструментами.
- Опыт работы с высокопроизводительными вычислениями, сетями и/или хранилищами.
- Опыт виртуализации GPU и/или InfiniBand.
- Опыт создания систем IaaS или PaaS в масштабе.
- Опыт работы с DPU/SmartNIC.
- Знание GPU-программирования, NCCL, CUDA.
О Together AI
Together AI, AI Native Cloud, создан специально для ИИ-инженеров. Разработчики ИИ-приложений получают высокопроизводительный инференс, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания передовых специализированных моделей, а также предварительное обучение в огромном масштабе для полностью настраиваемого интеллекта — все это в рамках маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть ими. Вместе с Cursor, Decagon, ElevenLabs, Salesforce и Zoom, Together обрабатывает более 400 триллионов токенов в месяц.
Равные возможности
Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.
