Training Performance Engineer

Заголовок: Инженер по производительности обучения Компания: OpenAI Местоположение: Сан-Франциско / Гибрид

Вознаграждение: 295 000 - 500 000 долларов США в год

О команде Команда Training Runtime разрабатывает основной распределенный рантайм для машинного обучения, который обеспечивает работу всего, от ранних исследовательских экспериментов до крупномасштабных запусков моделей. Имея двойную задачу — ускорение исследователей и обеспечение пограничного масштаба — мы создаем унифицированный, модульный рантайм, который встречает исследователей там, где они находятся, и движется вместе с ними по кривой масштабирования.

Наша работа сосредоточена на трех столпах: высокопроизводительное, асинхронное перемещение данных с нулевым копированием, ориентированное на тензоры и состояние оптимизатора; производительные, высокодоступные, отказоустойчивые фреймворки обучения (цикл обучения, управление состоянием, устойчивое сохранение контрольных точек, детерминированная оркестрация и наблюдаемость); и распределенное управление процессами для долгоживущих, специфичных для задач и предоставленных пользователем процессов.

Мы интегрируем проверенные крупномасштабные возможности в компонуемый рантайм, ориентированный на разработчиков, чтобы команды могли быстро итерировать и надежно работать в любом масштабе, тесно сотрудничая с командами, занимающимися стеком моделей, исследованиями и платформой. Успех для нас измеряется повышением как пропускной способности обучения (скорость обучения моделей), так и пропускной способности исследователей (скорость превращения идей в эксперименты и продукты).

О роли В качестве инженера по производительности обучения вы будете способствовать повышению эффективности нашего распределенного стека обучения. Вы будете анализировать крупномасштабные обучающие запуски, выявлять пробелы в использовании ресурсов и разрабатывать оптимизации, расширяющие границы пропускной способности и времени безотказной работы. Эта роль сочетает глубокое понимание систем с практической инженерией производительности — анализ производительности ядер GPU, пропускной способности коллективных коммуникаций, исследование узких мест ввода-вывода и шардинг наших моделей, чтобы мы могли обучать их в огромных масштабах.

Вы поможете обеспечить максимальную производительность наших кластеров, позволяя OpenAI обучать более крупные и мощные модели при том же вычислительном бюджете.

Эта роль находится в Сан-Франциско, Калифорния. Мы используем гибридную модель работы: три дня в офисе в неделю, и предлагаем помощь с переездом для новых сотрудников.

В этой роли вы будете:

• Профилировать сквозные обучающие запуски для выявления узких мест производительности в вычислениях, коммуникациях и хранении данных.

• Оптимизировать использование GPU и пропускную способность для крупномасштабного распределенного обучения моделей.

• Сотрудничать с инженерами по рантайму и системными инженерами для улучшения эффективности ядер, планирования и производительности коллективных коммуникаций.

• Реализовывать преобразования графов моделей для повышения сквозной пропускной способности.

• Создавать инструменты для мониторинга и визуализации MFU, пропускной способности и времени безотказной работы в кластерах.

• Сотрудничать с исследователями, чтобы обеспечить эффективное масштабирование новых архитектур моделей во время предварительного обучения.

• Вносить вклад в решения по инфраструктуре, повышающие надежность и эффективность крупных обучающих задач.

Вам может понравиться эта роль, если вы:

• Любите оптимизировать производительность и углубляться в системы, чтобы понять, как взаимодействуют все уровни.

• Обладаете сильными навыками программирования на Python и C++ (Rust или CUDA — плюс).

• Имеете опыт запуска распределенных обучающих задач на многопроцессорных системах или HPC-кластерах.

• Наслаждаетесь отладкой сложных распределенных систем и строгим измерением эффективности.

• Имеете опыт работы с такими фреймворками, как PyTorch, JAX или TensorFlow, и понимаете, как строятся крупномасштабные циклы обучения.

• Комфортно работаете в команде и умеете преобразовывать необработанные данные профилирования в практические инженерные улучшения.

Приветствуется:

• Знакомство с библиотеками коммуникаций NCCL, MPI или UCX.

• Опыт работы с крупномасштабными системами загрузки данных и сохранения контрольных точек.

• Предыдущий опыт работы над рантаймом обучения, распределенным планированием или оптимизацией ML-компиляторов.

О OpenAI

OpenAI — это компания, занимающаяся исследованиями и внедрением ИИ, призванная обеспечить, чтобы общий искусственный интеллект приносил пользу всему человечеству. Мы расширяем границы возможностей систем ИИ и стремимся безопасно внедрять их в мир посредством наших продуктов. ИИ — чрезвычайно мощный инструмент, который должен создаваться с учетом безопасности и потребностей человека в его основе, и для достижения нашей миссии мы должны охватывать и ценить множество различных точек зрения, голосов и опыта, которые формируют полный спектр человечества.

Мы являемся работодателем, предоставляющим равные возможности, и не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, статуса ветерана, инвалидности, генетической информации или других применимых законно защищенных характеристик.

Для получения дополнительной информации, пожалуйста, ознакомьтесь с Заявлением о политике позитивных действий и равных возможностей трудоустройства OpenAI.

Проверка биографических данных кандидатов будет проводиться в соответствии с применимым законодательством, а квалифицированные кандидаты с историей арестов или судимостей будут рассматриваться на предмет трудоустройства в соответствии с этими законами, включая Закон Сан-Франциско о добросовестных возможностях, Закон Лос-Анджелеса о добросовестных возможностях для работодателей и Калифорнийский закон о добросовестных возможностях, для кандидатов из США. Для работников в округе Лос-Анджелес, не имеющих юридического статуса: мы разумно полагаем, что криминальное прошлое может иметь прямое, неблагоприятное и отрицательное отношение к следующим должностным обязанностям, потенциально приводя к отзыву условного предложения о трудоустройстве: защита компьютерного оборудования, доверенного вам, от кражи, потери или повреждения; возврат всего компьютерного оборудования, находящегося в вашем распоряжении (включая содержащиеся в нем данные), после прекращения трудовых отношений или окончания срока действия контракта; и сохранение конфиденциальности проприетарной, конфиденциальной и непубличной информации. Кроме того, должностные обязанности требуют доступа к безопасным и защищенным системам информационных технологий и связанных с ними обязательств по обеспечению безопасности данных.

Чтобы уведомить OpenAI о том, что вы считаете это объявление о вакансии несоответствующим, отправьте отчет через специальную форму для сообщения о несоответствиях. Ответы на запросы, не связанные с соответствием объявления о вакансии, не будут предоставлены.

Мы стремимся предоставлять разумные приспособления для кандидатов с ограниченными возможностями, и запросы могут быть сделаны через специальную форму запроса приспособлений.

Политика конфиденциальности OpenAI для глобальных кандидатов

В OpenAI мы верим, что искусственный интеллект обладает потенциалом помочь людям решить огромные глобальные проблемы, и мы хотим, чтобы преимущества ИИ были широко распространены. Присоединяйтесь к нам в формировании будущего технологий.