Helix AI Engineer, Training Performance

Figure — компания в сфере ИИ-робототехники, разрабатывающая автономных человекоподобных роботов общего назначения. Цель компании — выпуск человекоподобных роботов с человеческим уровнем интеллекта. Ее роботы спроектированы для выполнения различных задач на рынке домашних и коммерческих услуг. Штаб-квартира Figure находится в Сан-Хосе, Калифорния. Видение Figure — широкомасштабное развертывание автономных человекоподобных роботов. Наша команда Helix ищет опытного инженера по производительности обучения ИИ, чтобы вывести обучение наших моделей на новый уровень. Эта роль сосредоточена на улучшении распределенных фреймворков обучения для крупномасштабного обучения моделей, оптимизации GPU-ядер, исследовании относительных преимуществ различных типов ускорителей и совместной разработке наших моделей для максимального использования нашего оборудования. Обязанности: Оптимизация производительности обучения моделей с более чем 100 млрд параметров на более чем 100 тыс. GPU. Сотрудничество с командой в целом по вопросам выбора ускорителя, топологии кластера, планирования и закупок оборудования для информирования о будущем масштабировании. Написание и оптимизация пользовательских ядер (Triton/CUDA). Создание инструментов и панелей мониторинга для непрерывного мониторинга производительности, обнаружения регрессий и анализа первопричин для обучающих задач. Оптимизация конвейеров загрузки и предварительной обработки данных, чтобы ввод/вывод никогда не ограничивал ускорители. Улучшение контрольных точек, отказоустойчивости и эластичного перезапуска, чтобы большие задания быстро восстанавливались после сбоев узлов без значительной потери времени выполнения. Партнерство с исследователями для совместной разработки архитектур моделей и рецептов обучения, которые производительны в масштабе (например, стратегии контрольных точек активации, смешанная точность, упаковка последовательностей). Расширение и вклад в компиляторы ядер (например, Triton, Gluon) для ускорения итераций и обеспечения нацеливания на пользовательские/не-NVIDIA ускорители. Создание и расширение агентных систем, которые автоматически генерируют, тестируют и итерируют пользовательские ядра. Оценка новых архитектур ускорителей (AMD, TPU, ASIC на базе SRAM и другое новое оборудование) на предмет соответствия нашим обучающим нагрузкам и руководство пилотными проектами/тестированием. Изучение различных моделей параллелизма моделей/данных (FSDP, контекстный параллелизм, параллелизм экспертов и т. д.) для определения оптимальной конфигурации для каждого размера модели. Требования: Степень бакалавра или магистра в области компьютерных наук, компьютерной/электротехники или смежной области. 3+ года опыта в области производительности ИИ, со значительным опытом руководства крупномасштабными проектами по повышению производительности. Глубокое понимание архитектуры GPU и характеристик производительности (пропускная способность памяти, операции, ограниченные вычислениями или памятью, занятость). Опыт работы с инструментами профилирования (Nsight Systems/Compute, PyTorch Profiler, HTA или аналогичными) и способность интерпретировать трассировки для конкретных оптимизаций. Хорошее понимание коллективной коммуникации (NCCL) и современных сетевых концепций (RDMA, NVLink, InfiniBand/RoCE, размещение с учетом топологии). Сильные навыки работы с Python и CUDA/C++; комфортное чтение и модификация внутренних компонентов фреймворков. Опыт отладки регрессий производительности и нестабильности в масштабе (отстающие узлы, зависания, OOM, численная дивергенция). Опыт определения и анализа метрик эффективности оборудования (MFU/HFU) и их использования для определения приоритетов оптимизации. Бонусная квалификация: Опыт работы с гетерогенными или многоцентровыми обучающими установками и межкластерной оркестровкой. Вклад в проекты с открытым исходным кодом в области ML (PyTorch, Megatron-LM, vLLM, DeepSpeed, JAX и т. д.). Опыт работы с не-NVIDIA ускорителями (GPU AMD, TPU/Trainium/Inferentia или пользовательские кремниевые решения) и управление гетерогенным парком. Диапазон базовой заработной платы в США для этой штатной должности составляет от 200 000 до 400 000 долларов в год. Предлагаемая оплата за эту должность может варьироваться в зависимости от нескольких индивидуальных факторов, включая связанные с работой знания, навыки и опыт. Общий пакет вознаграждения также может включать дополнительные компоненты/льготы в зависимости от конкретной роли. Эта информация будет предоставлена в случае предложения о работе.