Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Together AI
Сан-Франциско, Соединенные Штаты7 дней назад
300 000 – 350 000 USD
в год
Опыт работы
от 8 лет
Тип занятости
Полная занятость
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Мы ищем менеджера по инжинирингу / менеджера технического руководства, который возглавит команду, управляющую Kubernetes на GPU-инфраструктуре bare-metal в Together AI. Вы будете отвечать за то, как тысячи GPU в наших дата-центрах подготавливаются, оркестрируются и поддерживаются в работоспособном состоянии для клиентов, обучающих, дообучающих и развертывающих модели на нашей платформе. Together AI — это AI Native Cloud: полнофункциональная платформа для запуска открытых и кастомных генеративных моделей ИИ, от GPU-кластеров до бессерверных вычислений. Наши исследовательские и инженерные команды создают широко используемые open-source решения, такие как FlashAttention, а наша инфраструктура находится на переднем крае GPU-оборудования. Эта команда находится в основе этой экосистемы. Каждое обучение, каждый конечный пункт развертывания и каждый клиентский кластер зависят от надежности, утилизации и скорости слоя Kubernetes bare-metal, которым вы будете руководить. Together AI, AI Native Cloud, создан специально для инженеров ИИ. Разработчики ИИ-приложений получают высокопроизводительное масштабируемое и надежное развертывание, дообучение и обучение с подкреплением для создания специализированных моделей на переднем крае науки, а также крупномасштабное предварительное обучение для полностью кастомного интеллекта, все это вокруг маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обслуживает более 400 триллионов токенов в месяц.
Управление платформой Kubernetes bare-metal Определение технического направления работы Kubernetes на bare-metal в нескольких дата-центрах и регионах. Автоматизированная подготовка GPU-узлов с нулевым участием персонала, от прошивки и образов ОС до подключения и проверки кластера. Управление жизненным циклом кластера в масштабе: обновления, расширение мощностей, проверка работоспособности узлов, автоматическое исправление и вывод из эксплуатации. Сделать планирование GPU, топологически-осведомленное размещение и высокопроизводительные сети (InfiniBand, RoCE, RDMA) первоклассными функциями платформы. Обеспечение надежности и эффективности Определение и достижение SLO для доступности кластера, времени подготовки узла и утилизации GPU. Инвестирование в наблюдаемость оборудования, сетей, Kubernetes и рабочих нагрузок, чтобы сбои выявлялись до того, как их увидят клиенты. Сокращение времени от установки оборудования до получения готовых мощностей для клиентов. Руководство командой и ее развитие Найм, управление и развитие команды инженеров инфраструктуры и платформы, установление высоких стандартов технической глубины и операционной ответственности. Управление планированием, приоритизацией и реализацией задач команды, балансируя между работой по дорожной карте, ростом парка оборудования и поддержкой производства. Создание здоровой культуры дежурств: устойчивые ротации, постмортемы без обвинений и последующее исправление проблем. Взаимодействие с командами эксплуатации дата-центров, сетевых служб, аппаратного обеспечения, развертывания, обучения и продуктовыми командами для планирования мощностей и запуска новых поколений оборудования. Представление потребностей и компромиссов платформы руководству и преобразование требований клиентов в четкую дорожную карту.
8+ лет опыта в сфере инфраструктуры, SRE или платформенной инженерии, включая 2+ года управления инженерами. Глубокий практический опыт эксплуатации Kubernetes в производственной среде в масштабе, желательно на bare-metal, а не только на управляемых сервисах. Прочные знания систем Linux, сетей и оборудования: ядра, драйверы, BIOS/BMC, PXE boot и out-of-band управление. Опыт создания автоматизации для подготовки парка оборудования и управления его жизненным циклом с помощью таких инструментов, как Cluster API, Metal3, Ironic, MAAS, Ansible или Terraform. Опыт владения производственными системами с дежурствами, SLO и реагированием на инциденты. Сильное техническое суждение: вы можете анализировать проекты, отлаживать проблемы вместе с командой и принимать четкие решения о компромиссах. Четкая коммуникация с инженерами, руководством и внешними партнерами.
Опыт эксплуатации больших кластеров NVIDIA GPU (H100, H200, B200, GB200) и NVIDIA GPU и Network Operators, DCGM и NCCL. Знакомство с InfiniBand, RoCE, SR-IOV и высокопроизводительными хранилищами для рабочих нагрузок ИИ. Опыт работы со Slurm, Kueue, Volcano или другими планировщиками пакетной обработки для рабочих нагрузок обучения. Вклад в Kubernetes или связанные проекты CNCF. Опыт работы в AI-лаборатории, GPU-облаке или у гиперскейлера.
Мы предлагаем конкурентоспособную компенсацию, опционы стартапа, медицинскую страховку и другие конкурентные льготы. Диапазон базовой заработной платы в США для этой полной ставки составляет: $300 000 -350 000 + опционы + льготы. Наши диапазоны заработной платы определяются местоположением, уровнем и ролью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.
About The Role
We are hiring an Engineering Manager/Tech Lead Manager to lead the team that runs Kubernetes on bare-metal GPU infrastructure at Together AI. You will own how thousands of GPUs across our data centers are provisioned, orchestrated and kept healthy for the customers training, fine-tuning and serving models on our platform.
Together AI is the AI Native Cloud: a full-stack platform for running open and custom generative AI models, from GPU clusters to serverless inference. Our research and engineering teams contribute widely used open-source work such as FlashAttention, and our infrastructure runs at the frontier of GPU hardware.
This team sits at the base of that stack. Every training run, inference endpoint and customer cluster depends on the reliability, utilization and speed of the bare-metal Kubernetes layer you will lead.
Responsibilities
Own the bare-metal Kubernetes platform
Set the technical direction for how we run Kubernetes on bare metal across multiple data centers and regions.
Drive automated, zero-touch provisioning of GPU nodes, from firmware and OS imaging through cluster join and validation.
Own cluster lifecycle at scale: upgrades, capacity expansion, node health checks, automated remediation and decommissioning.
Make GPU scheduling, topology-aware placement and high-performance networking (InfiniBand, RoCE, RDMA) first-class in the platform.
Drive reliability and efficiency
Define and meet SLOs for cluster availability, node bring-up time and GPU utilization.
Invest in observability across hardware, networking, Kubernetes and workloads so failures are found before customers see them.
Cut the time from racked hardware to customer-ready capacity.
Lead and grow the team
Hire, manage and develop a team of infrastructure and platform engineers, setting a high bar for technical depth and operational ownership.
Run the team's planning, prioritization and delivery, balancing roadmap work against fleet growth and production support.
Build a healthy on-call culture: sustainable rotations, blameless postmortems and follow-through on remediation.
Work with data center operations, networking, hardware vendors, inference, training and product teams to plan capacity and launch new hardware generations.
Represent the platform's needs and trade-offs to leadership, and turn customer requirements into a clear roadmap.
Requirements
8+ years in infrastructure, SRE or platform engineering, including 2+ years managing engineers.
Deep hands-on experience running Kubernetes in production at scale, ideally on bare metal rather than only managed services.
Solid grounding in Linux systems, networking and hardware: kernels, drivers, BIOS/BMC, PXE boot and out-of-band management.
Experience building automation for fleet provisioning and lifecycle with tools such as Cluster API, Metal3, Ironic, MAAS, Ansible or Terraform.
A track record of owning production systems with on-call, SLOs and incident response.
Strong technical judgment: you can review designs, debug alongside the team and make clear trade-offs.
Clear communication with engineers, leadership and external partners.
Nice to have
Experience operating large NVIDIA GPU clusters (H100, H200, B200, GB200) and the NVIDIA GPU and Network Operators, DCGM and NCCL.
Familiarity with InfiniBand, RoCE, SR-IOV and high-performance storage for AI workloads.
Experience with Slurm, Kueue, Volcano or other batch schedulers for training workloads.
Contributions to Kubernetes or related CNCF projects.
Experience at an AI lab, GPU cloud or hyperscaler.
About Together AI
Together AI, the AI Native Cloud, is purpose-built for AI engineers. AI application developers get high-performance inference that scales reliably, fine-tuning and reinforcement learning for creating frontier-level specialized models, and pre-training at massive scale for fully custom intelligence, all around a marketplace of leading open models that teams can run, adapt, and own. Trusted by Cursor, Decagon, ElevenLabs, Salesforce, and Zoom, Together serves 400+ trillion tokens a month.
Compensation
We offer competitive compensation, startup equity, health insurance and other competitive benefits. The US base salary range for this full-time position is: $300,000 -350,000 + equity + benefits. Our salary ranges are determined by location, level and role. Individual compensation will be determined by experience, skills, and job-related knowledge.
Application Policy
Please read each role carefully and apply to the position best suited to you. Candidates are limited to 6 applications within a 90-day period, and applications beyond that limit will be automatically rejected. You may apply to additional roles 90 days after your last application.
Equal Opportunity
Together AI is an Equal Opportunity Employer and is proud to offer equal employment opportunity to everyone regardless of race, color, ancestry, religion, sex, national origin, sexual orientation, age, citizenship, marital status, disability, gender identity, veteran status, and more.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 292 000 до 363 000