Казахстан · Релокация · На территории работодателя · Senior
Почему стоит работать в Higgsfield AI?
Higgsfield AI — самая быстрорастущая компания в области генеративного ИИ в истории, достигшая годового дохода в $500 млн, с более чем 25 млн пользователей по всему миру, генерирующая более 6 млн контента в день и обслуживающая 390 брендов из списка Fortune 500.
Мы работаем на переднем крае создания видеоконтента с помощью ИИ и креативных инструментов нового поколения. Присоединившись к Higgsfield, вы станете частью команды, оказывающей значительное влияние на формирование будущего ИИ-ориентированных продуктов, в компании, которая не просто движется быстро, а переписывает само понятие скорости.
О роли
Вы будете отвечать за GPU-платформу, лежащую в основе наших продуктов для генерации видео/изображений — как за парк инференс-серверов, обслуживающих производственный трафик, так и за тренировочные кластеры, где создаются наши модели. Инфраструктура охватывает несколько провайдеров, оркестрируемых с помощью Kubernetes на Talos Linux под управлением Sidero Omni. Целевая загрузка GPU составляет >95%; каждый неиспользуемый GPU-час — это потраченные деньги. Вы будете тем, кто обеспечит быструю тренировку и дешевый, бесперебойный инференс.
Что вы будете делать
- Оптимизировать тренировочные кластеры: распределенное обучение в масштабе — настройка NCCL, работоспособность сети InfiniBand/RoCE, планирование с учетом топологии и групповое размещение, пропускная способность GPU/сети, быстрая запись контрольных точек, перехват и восстановление заданий. Обеспечить, чтобы каждый тренировочный запуск использовал аппаратное обеспечение, за которое было заплачено.
- Управлять жизненным циклом кластеров Talos / Sidero Omni во всем парке GPU: загрузка и обновление узлов, драйверы GPU / NVIDIA GPU Operator / DCGM на иммутабельной ОС, развертывание без простоя.
- Эксплуатировать мульти-провайдерский парк GPU: планирование мощностей в регионах Nebius и пулах bare-metal RTX Pro, эскалация аппаратных инцидентов провайдерам, жизненный цикл узлов (диагностика NotReady, ошибки XID, обновление драйверов).
- Управлять автоскейлингом инференса: KEDA-управляемый, основанный на очередях Kafka скейлинг потребителей GPU; планирование с учетом GPU; пулы с предварительным прогревом и сокращение времени холодного старта; настройка спроса/предложения нашего внутреннего автоскейлера (higgscaler).
- GitOps для всего: ArgoCD для нескольких кластеров (10+ кластеров из одного репозитория), Helm, Terraform (HCP). Никаких узлов, созданных вручную, никакого смещения конфигурации — если чего-то нет в git, этого не существует.
- Наблюдаемость и SLO: VictoriaMetrics/Logs/Traces, Prometheus, DCGM exporters; честные дашборды для загрузки, пропускной способности тренировки, задержки в очереди, стоимости за генерацию.
- Эффективность GPU как дисциплина: поиск простаивающих ресурсов, несоответствий между мощностью и спросом, перегруженных очередей — наша AIOps платформа (Mycelium) автоматически фиксирует эти проблемы; вы замыкаете цикл реальными исправлениями.
- Сотрудничать с ML-инженерами в отношении тренировочных запусков и развертывания моделей (рантаймы, батчинг, размер памяти) и с основной командой по AWS EKS (Karpenter, Istio, Bottlerocket, gVisor sandboxes).
Наш стек Talos Linux, EKS, NVIDIA GPU Operator, DCGM, CUDA, NCCL, InfiniBand/RoCE · ArgoCD, Helm, Terraform Cloud · KEDA, Karpenter, Kafka · VictoriaMetrics/Logs/Traces, Prometheus, Grafana · Istio, Cloudflare · Python/Go.
У вас есть
- 3+ года опыта управления производственными Kubernetes в роли SRE/Platform/MLOps, включая GPU-ворклоады.
- Практический опыт эксплуатации распределенного обучения: NCCL, высокоскоростные интерконнекты (InfiniBand/RoCE), планирование многоузловых заданий, стратегии записи контрольных точек — и привычка измерять пропускную способность до и после каждого изменения.
- Опыт работы с bare-metal Kubernetes: Talos или аналогичные иммутабельные ОС; управление жизненным циклом узлов без поддержки облака.
- Стек NVIDIA: драйверы, container toolkit, GPU Operator, метрики DCGM; вы можете отладить "GPU visible but not allocatable" в 3 часа ночи.
- Свободное владение GitOps (ArgoCD/Flux + Helm) и Terraform; уверенное знание Linux и сетей (мультикластерные, VPN/TGW топологии).
- Автоскейлинг на основе очередей (KEDA/HPA) и достаточное понимание Kafka для анализа задержки потребителей.
- Python или Go для автоматизации; вы умеете документировать.
Приветствуется
- Программирование на C++ и CUDA: пользовательские ядра, настройка памяти/загрузки, профилирование с помощью Nsight Systems/Compute.
- Опыт работы с Sidero Omni в продакшене; мульти-провайдерские GPU-облака (Nebius, CoreWeave, Lambda).
- Инференс-рантаймы (Triton, vLLM, TensorRT) и экономика батчинга.
- FinOps для GPU-парков: стоимость за генерацию, планирование резервирования.
- Опыт создания внутренних платформ или AIOps-инструментария.
Успех в течение 6 месяцев
- Замеры пропускной способности тренировочных процессов показывают измеримый рост (токены/шаги на GPU-час), восстановление после сбоев за минуты, а не часы.
- Утилизация парка стабильно >95%; количество обнаруженных простоев стремится к нулю.
- Среднее время восстановления (MTTR) для GPU-узлов сокращено вдвое; каждое изменение мощностей отслеживается через git.
- Новые GPU-мощности — от провайдера до обслуживания трафика — вводятся в эксплуатацию за дни, полностью через GitOps.
Что мы предлагаем:
- Конкурентная базовая зарплата в USD
- Опционы: участие в программе опционов компании, дающее вам возможность разделить долгосрочный рост компании.
- Работа в офисе в Алматы (мы организуем ваш переезд из любой точки мира).
