Software Engineer, Model Runtime

Компенсация: $266 000 - $445 000 в год

О команде

Отдел аппаратного обеспечения OpenAI разрабатывает собственные кремниевые решения и системные решения для ИИ, отвечающие уникальным требованиям передовых рабочих нагрузок ИИ. Опираясь на такие усилия, как Jalapeño, команда разрабатывает будущие поколения кремниевых решений для ИИ и тесно интегрированные системы для обеспечения работы следующего поколения передовых моделей. Совместно проектируя чипы, системы, инструменты и методологии, команда помогает поставлять более быстрое, эффективное и готовое к производству аппаратное обеспечение для суперкомпьютерной платформы OpenAI.

О роли

Вы будете создавать среду выполнения моделей в механизме вывода, который масштабно выполняет сложные передовые модели на пользовательских кремниевых решениях OpenAI. Среда выполнения будет располагаться между моделями, работающими на аппаратном обеспечении, и верхними слоями стека программного обеспечения кластера обслуживания, преобразуя требовательные рабочие нагрузки вывода в эффективное выполнение, оптимизируя при этом пропускную способность, задержку, утилизацию и надежность.

Вы будете работать над архитектурой моделей, распределенными системами, компиляторами, ядрами и кремниевыми решениями для проектирования среды выполнения производственного класса, сравнимой по амбициям с такими системами, как vLLM и SGLang, но адаптированной и оптимизированной для ускорителя ИИ OpenAI. Ваша работа определит, как новые возможности моделей будут отображаться на платформе и насколько быстро пользовательские кремниевые решения смогут обеспечить значительную производительность в производственной среде.

В этой роли вы будете:

• Проектировать и реализовывать среду выполнения LLM для передовых моделей, работающих на пользовательских кремниевых решениях.
• Создавать планирование, непрерывную пакетную обработку, управление памятью, управление KV-кэшем и оркестрацию выполнения для высокопроизводительного вывода.
• Разрабатывать распределенные стратегии выполнения между чипами, хостами и стойками, включая разделение моделей, связь и синхронизацию.
• Оптимизировать сквозную задержку, пропускную способность, эффективность использования памяти и утилизацию аппаратного обеспечения для различных архитектур моделей и рабочих нагрузок обслуживания.
• Взаимодействовать с командами, работающими над ядрами, компиляторами, архитектурой и кремниевыми решениями, для совместного проектирования интерфейсов и устранения узких мест производительности по всему стеку.
• Обеспечивать новые возможности моделей, шаблоны выполнения, числовые форматы и аппаратные возможности в надежной производственной среде.
• Создавать инструменты профилирования, наблюдения, тестирования и моделирования производительности, которые делают поведение среды выполнения измеримым и действенным.
• Отлаживать сложные проблемы корректности, производительности и надежности, охватывающие код модели, программное обеспечение среды выполнения, коммуникационные слои и аппаратное обеспечение.
• Преобразовывать сведения о рабочих нагрузках в четкие требования для будущих поколений кремниевых решений и архитектуры систем.

Вам может подойти эта роль, если вы:

• Имеете большой опыт системного программирования на C++, Rust, Python или в сопоставимых средах, ориентированных на производительность.
• Создавали или оптимизировали среды выполнения, распределенные системы, компиляторы, ядра, инфраструктуру обслуживания моделей или смежное системное программное обеспечение.
• Понимаете современный вывод LLM, включая поведение предварительной выборки и декодирования, пакетную обработку, компромиссы KV-кэша и параллелизм моделей.
• Можете количественно оценивать задержку, пропускную способность, вычислительную интенсивность, пропускную способность памяти, связь и утилизацию.
• Удобно чувствуете себя при профилировании и отладке производительности по нескольким уровням стека аппаратного и программного обеспечения.
• Можете проектировать чистые абстракции, сохраняя при этом низкоуровневый контроль, необходимый для извлечения производительности из специализированного аппаратного обеспечения.
• Эффективно работаете с командами, занимающимися моделями, системами, компиляторами, ядрами и аппаратным обеспечением, для решения неопределенных технических проблем.
• Заботитесь о качестве производства, включая корректность, наблюдаемость, надежность, поддерживаемость и корректное поведение в масштабе.

В соответствии с законами и нормативными актами США об экспортном контроле, кандидаты на эту должность могут соответствовать определенным требованиям к правовому статусу, предусмотренным этими законами и нормативными актами.

О OpenAI

OpenAI — компания, занимающаяся исследованиями и разработкой ИИ, призванная обеспечить, чтобы универсальный искусственный интеллект приносил пользу всему человечеству. Мы расширяем границы возможностей систем ИИ и стремимся безопасно внедрять их в мир через наши продукты. ИИ — чрезвычайно мощный инструмент, который должен создаваться с учетом безопасности и потребностей человека в качестве основы, и для достижения нашей миссии мы должны охватывать и ценить множество различных точек зрения, голосов и опыта, которые составляют полный спектр человечества.

Мы являемся работодателем, предоставляющим равные возможности, и мы не дискриминируем по признакам расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, статуса ветерана, инвалидности, генетической информации или других применимых юридически защищенных характеристик.

Дополнительную информацию можно найти в Заявлении о политике позитивных действий и равных возможностей трудоустройства OpenAI.

Проверки биографических данных кандидатов будут проводиться в соответствии с применимым законодательством, а квалифицированные кандидаты с историей арестов или судимостей будут рассматриваться для трудоустройства в соответствии с этими законами, включая Ордонанс о честных шансах Сан-Франциско, Ордонанс округа Лос-Анджелес для работодателей о честных шансах и Калифорнийский закон о честных шансах, для кандидатов из США. Для работников округа Лос-Анджелес, не являющихся юридическими лицами: мы разумно полагаем, что криминальное прошлое может иметь прямую, неблагоприятную и негативную связь с указанными ниже должностными обязанностями, потенциально приводя к отзыву условного предложения о трудоустройстве: защита компьютерного оборудования, доверенного вам, от кражи, потери или повреждения; возврат всего компьютерного оборудования, находящегося в вашем распоряжении (включая содержащиеся в нем данные), при прекращении трудовых отношений или окончании срока выполнения задания; и сохранение конфиденциальности проприетарной, конфиденциальной и непубличной информации. Кроме того, должностные обязанности требуют доступа к безопасным и защищенным информационным технологиям и связанных с этим обязательств по обеспечению безопасности данных.

Чтобы уведомить OpenAI о том, что вы считаете, что это объявление о вакансии не соответствует требованиям, отправьте отчет через эту форму. Ответы на запросы, не связанные с соответствием объявления о вакансии, не будут предоставлены.

Мы стремимся предоставлять разумные приспособления для кандидатов с ограниченными возможностями, и запросы могут быть сделаны по этой ссылке.

Политика конфиденциальности OpenAI для глобальных соискателей.

В OpenAI мы верим, что искусственный интеллект может помочь людям решить огромные глобальные проблемы, и мы хотим, чтобы преимущества ИИ были широко доступны. Присоединяйтесь к нам в формировании будущего технологий.