Компенсация: 157 000–302 000 долларов США в год
О команде
Команда эксплуатации инфраструктуры OpenAI отвечает за доступность, надежность и операционное совершенство одной из крупнейших в мире сетей ИИ-инфраструктуры. Команда занимается повседневной эксплуатацией производственных ИИ-сетей в дата-центрах Industrial Compute, работая с колокейшн-провайдерами, командами развертывания и поставщиками оборудования для предоставления высокодоступной инфраструктуры GPU для задач обучения и инференса ИИ.
О роли
Мы ищем инженера по эксплуатации инфраструктуры для обслуживания и совершенствования крупномасштабных Ethernet-сетей, поддерживающих кластеры GPU, системы хранения данных и инфраструктуру управления. Эта роль сочетает в себе практическую эксплуатацию производственных систем с автоматизацией, наблюдаемостью и реагированием на инциденты в глобальной сети ИИ.
Идеальный кандидат имеет опыт эксплуатации высокодоступных сетей дата-центров, облачных сетей, сетей ИИ или HPC и может уверенно переключаться между устранением неполадок на физическом уровне, поведением маршрутизации и сетей, выполнением изменений и анализом первопричин. Вы будете тесно сотрудничать с отделами сетевой архитектуры, системной инженерии, инженерии GPU, инженерии систем хранения данных, безопасности, развертывания, эксплуатации объектов, поставщиками услуг, колокейшн-партнерами и поставщиками оборудования для повышения надежности и снижения операционной нагрузки.
Ключевые обязанности
- Обеспечение эксплуатационной готовности, доступности и надежности производственной ИИ-сетевой инфраструктуры в дата-центрах Industrial Compute.
- Мониторинг, устранение неполадок и решение сетевых инцидентов с соблюдением целевых показателей уровня обслуживания (SLO), сокращением среднего времени обнаружения (MTTD) и минимизацией среднего времени восстановления (MTTR).
- Эксплуатация и обслуживание крупномасштабных Ethernet-сетей, поддерживающих сети вычислений GPU, хранения данных и управления.
- Выполнение изменений в производственной сети, окон обслуживания и расширений мощностей с минимальным влиянием на клиентов.
- Управление жизненным циклом оборудования, включая замену коммутаторов и оптических модулей, координацию RMA, обновление программного обеспечения и профилактическое обслуживание.
- Поддержка развертывания новых кластеров ИИ, расширения дата-центров и миграции инфраструктуры в сотрудничестве с командами развертывания и инженерии.
- Взаимодействие с поставщиками облачных услуг (CSP), колокейшн-провайдерами, командами Smart Hands и поставщиками оборудования для поддержания производственной инфраструктуры.
- Проведение анализа первопричин (RCA) производственных инцидентов и внедрение постоянных корректирующих действий, устраняющих повторяющиеся проблемы.
- Создание и поддержка систем мониторинга, телеметрии, дашбордов и оповещений для улучшения наблюдаемости сети и проактивного обнаружения проблем.
- Разработка и совершенствование эксплуатационных руководств, плейбуков, документации по устранению неполадок и стандартных операционных процедур.
- Автоматизация повторяющихся операционных задач с использованием Python и фреймворков автоматизации инфраструктуры для снижения трудоемкости и повышения эффективности.
- Постоянное выявление возможностей для улучшения надежности, масштабируемости, операционной зрелости и эффективности инженерных работ.
Квалификация
- Степень бакалавра в области компьютерных наук, сетевой инженерии или смежной области, или эквивалентный практический опыт.
- Более 5 лет опыта эксплуатации крупномасштабной сетевой инфраструктуры дата-центров, облачных сетей, сетей ИИ или HPC.
- Опыт поддержки производственных сетевых сред с требованиями высокой доступности.
- Практический опыт работы с одной или несколькими из следующих платформ: Cisco NX-OS, Arista EOS, NVIDIA Spectrum / Cumulus Linux или Juniper JunOS.
- Глубокие знания сетей Layer 2 и Layer 3, BGP, OSPF, ECMP, MLAG, LACP, VRF и VLAN.
- Опыт устранения неполадок физической инфраструктуры, включая оптоволокно, трансиверы, кабели DAC/AOC и высокоскоростные Ethernet-каналы.
- Опыт обновления программного обеспечения, обслуживания оборудования и управления производственными изменениями.
- Отличные навыки анализа и устранения неполадок, способность четко доносить технические риски до команд.
Предпочтительные навыки
- Опыт эксплуатации сетевых сред ИИ или высокопроизводительных вычислений (HPC).
- Опыт работы с технологиями сетевого оборудования NVIDIA для ИИ и ИИ-инфраструктурой GPU.
- Опыт поддержки Ethernet-сетей на базе RoCE v2 или RDMA с глубоким пониманием Priority Flow Control (PFC), Explicit Congestion Notification (ECN), Data Center Quantized Congestion Notification (DCQCN), Quality of Service (QoS) и lossless Ethernet-сетей.
- Опыт поддержки Ethernet-сетей 100G, 200G, 400G и 800G.
- Опыт работы с платформами GPU, включая NVIDIA HGX, DGX, GB200 или эквивалентную ИИ-инфраструктуру.
- Опыт поддержки распределенных систем хранения данных, таких как VAST, DDN или аналогичных технологий.
- Опыт работы с поставщиками облачных услуг, такими как AWS, Azure или Google Cloud, и с сторонними колокейшн-провайдерами.
- Опыт работы с технологиями сетевого мониторинга и телеметрии, включая Prometheus, Grafana, gNMI, streaming telemetry, SNMP или аналогичные инструменты.
- Опыт разработки автоматизации с использованием Python, Git, REST API, Terraform или аналогичных фреймворков автоматизации.
Рабочая среда и дежурства
- Участие в круглосуточном дежурстве (24x7) для поддержки критически важной ИИ-инфраструктуры.
- Поддержка срочных производственных инцидентов, окон обслуживания, расширения мощностей и сетевых изменений с акцентом на доступность услуг и минимальное влияние на клиентов.
- Эта роль требует до 30% командировок в дата-центры для запуска новых объектов и мероприятий по приемке, по мере необходимости.
О OpenAI
OpenAI — компания, занимающаяся исследованиями и внедрением в области ИИ, призванная обеспечить, чтобы общий искусственный интеллект приносил пользу всему человечеству. Мы расширяем границы возможностей ИИ-систем и стремимся безопасно внедрять их в мир через наши продукты.
