Senior Software Engineer - AI Compute, Together Cloud

Заголовок: Старший инженер-программист — AI Compute, Together Cloud Компания: Together AI Местоположение: Амстердам

О роли

Together AI создает AI Native Cloud — комплексную платформу для всего жизненного цикла генеративного ИИ, объединяющую самый быстрый движок для инференса LLM с передовой инфраструктурой GPU-облака. Команда Together Cloud создает флагманский IaaS-продукт Together GPU Clusters, который предоставляет высокопроизводительные, готовые к работе с ИИ GPU-кластеры через облачную консоль самообслуживания, а также слой виртуализированной инфраструктуры, обеспечивающий работу продуктов Together для инференса, RL и дообучения.

В качестве старшего инженера-программиста, специализирующегося на AI Compute в организации Together Cloud, вы будете создавать и владеть основными компонентами платформы AI-облака следующего поколения — глобальной облачной инфраструктурой с высокой доступностью и передовой виртуализацией новейшего ML-оборудования: GB300/VR, BlueField DPUs, InfiniBand и двух/четырехплановых RoCEv2-сетей. Эта виртуализированная вычислительная платформа обеспечивает работу наших собственных SaaS-продуктов — инференса, RL и дообучения — и обслуживает внешних облачных клиентов через предложения самообслуживания, такие как кластеры Kubernetes/Slurm по запросу/резервированию, в десятках дата-центров и сотнях тысяч GPU.

Сложные задачи в области быстрого масштабирования гетерогенных GPU-парков — это программные задачи: полная автоматическая загрузка GPU-дата-центров, высокопроизводительная виртуализация GPU-вычислений и сетевых подключений дата-центров без ущерба для изоляции или переносимости, а также отказоустойчивые децентрализованные управляющие плоскости. Мы решаем их, создавая глобальные сервисы и сервисы внутри дата-центров, операторы Kubernetes и высокопроизводительные библиотеки SDN, форкаем гипервизоры и ядра Linux, а также строим инфраструктуру, специально предназначенную для инференса и дообучения. Вы будете владеть масштабными проектами с нуля на протяжении всего их жизненного цикла — от определения проблемы и написания PRD с нашими менеджерами по продуктам до проектирования системы и создания ее вплоть до запуска GA.

Обязанности

• Создание стека виртуализации GPU и сетей: гипервизора, ядра и SDN-решений, которые делают GPU-вычисления и сетевые подключения дата-центров высокопроизводительными, переносимыми и строго изолированными на гетерогенном оборудовании.
• Создание и поддержка нашего IaaS-слоя внутри дата-центров: сервисов, операторов Kubernetes и библиотек, которые развертывают и управляют вычислительными ресурсами, хранилищами и сетями в наших дата-центрах, включая виртуальные машины, параллельные файловые системы, VPC и разделы InfiniBand. Реализация и укрепление пути загрузки для нового дата-центра Vera Rubin с тысячами GPU.
• Масштабирование распределенной системы планирования GPU и глобальной плоскости управления: сервисов управляющей плоскости для кластеров по запросу и резервирования, включая автоматизацию, которая добавляет новые мощности и повышает лимиты для каждого кластера.
• Укрепление слоя мониторинга и автоматического восстановления для обеспечения отказоустойчивости: автоматическое обнаружение, изоляция и восстановление вышедших из строя узлов, что обеспечивает отказоустойчивость распределенного предварительного обучения и крупномасштабного инференса.
• Полное владение своими компонентами: написание проектной документации, разбивка работы на этапы, которые выпускаются поэтапно, и повышение надежности уже работающих систем.
• Повышение общего уровня команды: обзор кода, обратная связь по дизайну и наставничество младших инженеров.
• Создание инструментов, на которые полагаются другие команды: фреймворки для тестирования, инструменты для разработчиков и документация, которые делают наши системы надежными и удобными для использования различными командами, а также вклад в основной, открытый исходный код платформы Together AI.

Для достижения успеха вам потребуется глубокая техническая подготовка, готовность полностью владеть проектами и отличные коммуникативные навыки — прочные основы разработки программного обеспечения, глубокие системные знания и навыки устранения неисправностей, а также навыки сотрудничества и дипломатии для работы с различными командами.

Требования

• Более 5 лет профессионального опыта разработки программного обеспечения, с уверенным владением как минимум одним серверным языком программирования (предпочтительно Golang).
• Подтвержденный опыт владения крупномасштабными проектами, доведенными до завершения от начала до конца, написания высокопроизводительного, хорошо протестированного кода производственного качества.
• Подтвержденный опыт создания и эксплуатации высокопроизводительных и/или глобально распределенных микросервисных архитектур в одном или нескольких облачных провайдерах (AWS, Azure, GCP).
• Глубокие системные знания в области вычислений, сетей и хранения данных, включая параллелизм, управление памятью, производительный ввод-вывод и масштабирование.
• Отличные коммуникативные навыки — способность писать понятную проектную документацию и эффективно работать как с техническими, так и с нетехническими членами команды.
• Опыт создания и эксплуатации надежных, ориентированных на клиента производственных систем в большом масштабе, а также владение автоматизацией инфраструктуры (Terraform, Ansible), наблюдаемостью (Prometheus, Grafana) и CI/CD (GitHub Actions, ArgoCD), которые поддерживают их работоспособность.

Предпочтительные квалификации

• Опыт работы с внутренними компонентами Kubernetes, такими как реализация нетривиальных операторов Kubernetes, плагинов для устройств/хранилищ/сетей, пользовательских планировщиков или патчей для самого Kubernetes.
• Опыт работы с виртуальными машинами/гипервизорами, такими как QEMU/KVM, cloud-hypervisor, VFIO, virtio, PCIE passthrough, Kubevirt, SR-IOV.
• Опыт работы с технологиями и решениями для сетевых подключений дата-центров, такими как VLAN, VXLAN, VPN, VPC, OVS/OVN.
• Опыт работы с Cluster API или аналогичными решениями.
• Опыт работы с высокопроизводительными вычислениями, сетями и/или хранилищами.
• Опыт виртуализации GPU и/или InfiniBand.
• Опыт создания систем IaaS или PaaS в большом масштабе.
• Опыт работы с DPU/SmartNIC.
• Знание GPU-программирования, NCCL, CUDA.

О Together AI

Together AI, AI Native Cloud, специально создан для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, дообучение и обучение с подкреплением для создания передовых специализированных моделей, а также масштабное предварительное обучение для создания полностью индивидуального интеллекта — все это на основе маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и использовать. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и т. д.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу [privacy policy].