Детали

Грейд

Senior

Формат работы

Удалённо, Гибрид

Уровень английского

B2, выше среднего

Сопроводительное письмо к вакансии

Письмо на почту или сообщение рекрутеру в Telegram

О вакансии

Вы будете создавать системы, которые обеспечивают работу обучения с подкреплением в масштабных передовых разработках — сочетая оптимизацию политики с большими кластерами вычислительных узлов, агентными средами и системами вознаграждения и верификации, которые преобразуют поведение модели в обучающий сигнал. Обучение с подкреплением — это то, как модели Luma переходят от способных к полезным.

Обучение с подкреплением в масштабе — это комплексная системная задача: обучение, генерация траекторий, выполнение среды и вычисление вознаграждений, работающие одновременно на тысячах GPU, все это должно оставаться быстрым, стабильным и корректным.

Миссия Luma — создать унифицированный общий интеллект, который может генерировать, понимать и действовать в физическом мире. Мы верим, что мультимодальность критически важна для интеллекта — следующий шаг после языковых моделей исходит из видения.

Задачи

Проектировать, создавать и масштабировать распределенные системы пост-обучения RL, оркестрируя рабочие нагрузки обучения, генерации траекторий, сред и вознаграждений на тысячах GPU
Создавать высокопроизводительную генерацию траекторий, интегрируя движки инференса (vLLM, SGLang), синхронизацию весов и асинхронные/внеполитические схемы
Проектировать RL-среды для агентных, многошаговых задач — песочницы для выполнения кода, использование инструментов, использование компьютера, мультимодальное взаимодействие — воспроизводимые и масштабируемые до миллионов эпизодов
Создавать инфраструктуру вознаграждений: верифицируемые/программные вознаграждения, обслуживание моделей вознаграждений, конвейеры LLM-as-judge и защиту от взлома вознаграждений
Разрабатывать инструменты оценки, мониторинга и отладки, которые обеспечивают стабильность крупных RL-запусков
Повышать эффективность и стабильность обучения, а также внедрять новые идеи пост-обучения в производственные запуски совместно с исследователями

Первые 90 дней

Вот как могут пройти первые 90 дней.

Дни 1–30 — Погружение и диагностика: Изучение текущего стека RL и выявление узких мест в пропускной способности, стабильности или корректности
Дни 30–60 — Запуск и валидация: Улучшение части конвейера (пропускная способность генерации траекторий, инфраструктура вознаграждений или среда) и доказательство его эффективности на реальном запуске
Дни 60–90 — Масштабирование и систематизация: Укрепление полного конвейера на тысячах GPU и асинхронных архитектурах

Требования

Это подойдет тому, кто уже сталкивался с этим — пост-обучал LLM с помощью RL, создавал среды и верификаторы, а также отлаживал асинхронные конвейеры генерации траекторий в масштабе. Если вы не работали с RL в реальном масштабе, это будет глубокая вода.

Практический опыт пост-обучения LLM с помощью RL (семейство PPO/GRPO, RLHF, RLVR) в значительных масштабах
Обширное распределенное обучение PyTorch и параллелизм (FSDP, Tensor/Pipeline/Expert Parallel) для фундаментальных моделей
Опыт создания RL-сред, функций вознаграждения, верификаторов или систем оценки для LLM-агентов, включая выполнение в песочнице и многоходовое использование инструментов
Глубокое знакомство с фреймворками пост-обучения RL (veRL, OpenRLHF, TRL, Ray orchestration) и движками инференса для генерации траекторий (vLLM, SGLang)
Глубокое понимание GPU-кластеров, сетей и библиотек связи (NCCL, MPI) при смешанных рабочих нагрузках обучения и инференса

Будет плюсом

Проведение обучения RL на более чем 100 GPU, включая асинхронные или дезагрегированные архитектуры трейнера/генератора траекторий
Контейнеризация и оркестрация (Kubernetes, Ray) для больших кластеров сред и рабочих нагрузок в песочницах
Исследовательские работы в области RL для LLM или вклад в разработку фреймворков обучения RL с открытым исходным кодом

Условия

Вознаграждение: 195 000–395 000 долларов США в год

Compensation: $195K - $395K per year

You'll build the systems that make reinforcement learning work at frontier scale — coupling policy optimization with large fleets of inference workers, agentic environments, and the reward and verification systems that turn model behavior into learning signal. RL is how Luma's models go from capable to useful.

RL at scale is a full-loop systems problem: training, rollout generation, environment execution, and reward computation running concurrently across thousands of GPUs, all needing to stay fast, stable, and correct together. It fits someone who has lived this — post-trained LLMs with RL, built environments and verifiers, and debugged asynchronous rollout pipelines at scale. If you haven't operated RL at real scale, this will be deep water.

What You'll Own

Design, build, and scale distributed RL post-training systems, orchestrating trainer, rollout, environment, and reward workloads across thousands of GPUs.
Build high-throughput rollout generation, integrating inference engines (vLLM, SGLang), weight synchronization, and asynchronous/off-policy schemes.
Design RL environments for agentic, multi-step tasks — sandboxed code execution, tool use, computer use, multimodal interaction — reproducible and scalable to millions of episodes.
Build reward infrastructure: verifiable/programmatic rewards, reward-model serving, LLM-as-judge pipelines, and defenses against reward hacking.
Develop the evaluation, monitoring, and debugging tooling that keeps large RL runs stable.
Advance training efficiency and stability, and turn new post-training ideas into production runs with researchers.

First 90 Days

One way the first 90 could unfold.

Days 1–30 — Immerse & Diagnose: Learn the current RL stack and where throughput, stability, or correctness break.
Days 30–60 — Ship & Validate: Improve a piece of the loop (rollout throughput, reward infra, or an environment) and prove it on a real run.
Days 60–90 — Scale & Systemize: Harden the full loop across thousands of GPUs and asynchronous architectures.

What You Bring

Hands-on experience post-training LLMs with RL (PPO/GRPO-family, RLHF, RLVR) at meaningful scale.
Extensive distributed PyTorch training and parallelism (FSDP, Tensor/Pipeline/Expert Parallel) for foundation models.
Experience building RL environments, reward functions, verifiers, or evaluation harnesses for LLM agents, including sandboxed execution and multi-turn tool use.
Deep familiarity with RL post-training frameworks (veRL, OpenRLHF, TRL, Ray orchestration) and rollout inference engines (vLLM, SGLang).
Strong understanding of GPU clusters, networking, and communication libraries (NCCL, MPI) under mixed training and inference workloads.

Nice to Have

Running RL training across 100+ GPUs, including asynchronous or disaggregated trainer/rollout architectures.
Containerization and orchestration (Kubernetes, Ray) for large environment fleets and sandboxed workloads.
Research contributions in RL for LLMs, or open-source contributions to RL training frameworks.

About Luma

Luma's mission is to build unified general intelligence that can generate, understand, and operate in the physical world. We believe multimodality is critical for intelligence — the next step beyond language models comes from vision. Luma is an equal opportunity employer.

Подходит ли тебе эта вакансия?

Сравним навыки, грейд, формат работы и зарплату

Ключевые навыки

Reinforcement Learning
PPO
GRPO
RLHF
RLVR
PyTorch
FSDP
Tensor Parallelism
Pipeline Parallelism
Expert Parallelism
VERL
OpenRLHF
TRL
Ray
vLLM
SGLang
NCCL
MPI
Kubernetes

Оценка зарплаты

301 000USDв год

Чаще всего от 269 000 до 337 000