Staff Software Engineer - Infrastructure Storage

Должность: Ведущий инженер-программист — Инфраструктура хранения данных Местоположение: Офис в Сан-Франциско (Fremont St) / Офис в Сан-Хосе (First St) / Офис в Бельвью / Гибрид

Компенсация: 314 000–465 000 долларов США в год

Lambda, The Superintelligence Cloud, является лидером в области облачной инфраструктуры для ИИ, обслуживая десятки тысяч клиентов. Наши клиенты — от исследователей ИИ до корпораций и гиперскейлеров. Миссия Lambda — сделать вычисления такими же повсеместными, как электричество, и дать каждому силу супер-интеллекта. Один человек, один GPU.

Если вы хотите построить лучший в мире ИИ-облако, присоединяйтесь к нам.

*Примечание: Эта должность требует присутствия в нашем офисе в Сан-Франциско/Бельвью 4 дня в неделю; установленный компанией Lambda день работы из дома — в настоящее время вторник.

В мире распределенного ИИ «сырая» мощь GPU и CPU — это лишь часть истории. Высокопроизводительные сети и системы хранения данных — это критически важные компоненты, которые объединяют эти системы и делают возможными революционные тренировки и инференс ИИ.

Организация инфраструктурной инженерии Lambda закладывает основу высокопроизводительных ИИ-кластеров, объединяя новейшее оборудование для хранения данных, сетевое оборудование, GPU и CPU.

Наша экспертиза находится на стыке:

• Высокопроизводительные распределенные решения и протоколы хранения данных: Мы разрабатываем протоколы и системы, которые обслуживают огромные наборы данных со скоростью, требуемой современными кластеризованными GPU.

• Динамические сети: Мы проектируем передовые сети, обеспечивающие безопасность для нескольких клиентов и интеллектуальную маршрутизацию без ущерба для производительности, используя новейшее сетевое оборудование для ИИ.

• Виртуализация вычислений: Мы обеспечиваем передовую виртуализацию и кластеризацию, которые позволяют исследователям и инженерам ИИ сосредоточиться на рабочих нагрузках ИИ, а не на ИИ-инфраструктуре, раскрывая полную пропускную способность вычислений кластеризованных GPU.

О роли:

Мы ищем опытного ведущего инженера-программиста по системам хранения данных с глубоким опытом проектирования и развертывания крупномасштабных решений протоколов хранения данных для объектных, блочных и файловых парадигм.

Это уникальная возможность поработать на стыке крупномасштабных распределенных систем и быстро развивающейся области инфраструктуры искусственного интеллекта. Это возможность оказать значительное влияние на будущее ИИ. Вы будете создавать основополагающую инфраструктуру, которая обеспечивает работу некоторых из самых передовых исследований и продуктов ИИ в мире.

Что вы будете делать:

• Техническое лидерство: Определять техническое направление архитектуры программного обеспечения для систем хранения данных в развертываниях масштаба петабайт, создавать и рецензировать проектные документы, курировать старших инженеров и выступать в качестве технического лидера для кросс-функциональных инициатив, охватывающих команды хранения данных, сетей, вычислений и управляющего плоскости. Представлять команду программного обеспечения для систем хранения данных на архитектурных обзорах, планировании дорожной карты и технических обсуждениях с клиентами.

• Исполнение: Проектировать, разрабатывать и поддерживать высокопроизводительное программное обеспечение для систем хранения данных для файловых (NFS, SMB, Lustre), блочных (NVMe-oF, iSCSI) и объектных (S3) протоколов. Создавать распределенные системы для оркестровки ресурсов хранения данных, интегрироваться с аппаратным обеспечением, ускоренным NVMe/GPU-direct/DPU, и устранять сложные производственные проблемы в областях производительности, протоколов и сбоев оборудования. Отвечать за полный жизненный цикл от требований и проектирования до развертывания, мониторинга и обслуживания, включая инструментарий для бенчмаркинга, профилирования и планирования мощностей.

• Сотрудничество: Тесно сотрудничать с командами по программному обеспечению для систем хранения данных, сетям, управляющему плоскости, Kubernetes, наблюдаемости, вычислениям и эксплуатации парка оборудования для реализации кросс-функциональных инфраструктурных инициатив, определения и отслеживания SLO/SLI систем хранения данных, а также обеспечения надежного развертывания и обслуживания распределенной инфраструктуры хранения данных.

• Инновации: Быть в курсе исследований в области хранения данных для ИИ и HPC, оценивать новые протоколы и аппаратное обеспечение (от файловых систем с открытым исходным кодом до специализированных ускорителей хранения данных), а также оптимизировать решения для рабочих нагрузок ИИ, включая ввод-вывод контрольных точек, обслуживание наборов данных с высокой пропускной способностью и конвейеры инференса с чувствительностью к задержке.

У вас есть:

• Опыт: Более 10 лет работы в области инженерии систем хранения данных, из них более 5 лет на позиции технического лидера или ведущего инженера (Staff+ IC). Подтвержденный опыт проектирования и эксплуатации петабайтной инфраструктуры хранения данных в производственных дата-центрах или облачных средах. Опыт работы с HPC, инфраструктурой ИИ/МО или крупномасштабными облачными системами хранения данных.

• Системное программирование: Отличное знание C, C++, Rust или Go. Умение писать высокопроизводительный, конкурентный, производственный системный код. Знакомство с DPDK/SPDK и путями данных с обходом ядра (kernel-bypass) приветствуется; опыт работы с драйверами систем хранения данных на уровне ядра или демонами хранения данных еще лучше.

• Экспертиза в протоколах и API систем хранения данных: Глубокий практический опыт работы с двумя или более протоколами: объектными (S3), блочными (iSCSI, NVMe-oF) или файловыми (NFS, SMB, Lustre, DAOS), включая реализацию или поддержку серверов/клиентов протоколов в производственной среде, а не только их использование.

• Оптимизация производительности систем хранения данных: Опыт профилирования и настройки пропускной способности, задержки и IOPS при реальных нагрузках с использованием таких инструментов, как fio, elbencho.

• Современные технологии хранения данных: Практическое знание NVMe, NVMe-oF, RDMA (RoCE или InfiniBand) и DPU (например, NVIDIA BlueField).

• Эксплуатационная хватка: Опыт работы в физических дата-центрах, с инфраструктурой масштаба стойки, аппаратным обеспечением систем хранения данных, доменами отказов. Опыт проектирования с учетом надежности, написания руководств (runbooks) и управления реагированием на инциденты. Знакомство с инструментами наблюдаемости систем хранения данных (Prometheus, Grafana, агрегация логов, трассировка).

Желательно:

• Опыт работы с DPU NVIDIA BlueField или SuperNIC для ускоренных путей данных хранения, включая реализацию GPUDirect Storage.

• Глубокий опыт эксплуатации корпоративных или HPC платформ хранения данных: Vast Data, Weka, NetApp или Lustre.

• Опыт развертывания и эксплуатации сервисов, подобных Ceph, в масштабе (100PB+) в среде HPC или ИИ-инфраструктуры.

• Знакомство с новыми технологиями хранения данных, такими как пулинг памяти CXL, вычислительное хранение данных или SSD с ZNS (Zoned Namespace).

• Опыт участия или поддержки проектов с открытым исходным кодом в области хранения данных (например, Ceph, DAOS, Lustre, MinIO).

Информация о диапазоне заработной платы:

Годовой диапазон заработной платы для этой должности установлен на основе рыночных данных и других факторов. Однако заработная плата выше или ниже этого диапазона может быть уместной для кандидата, чья квалификация существенно отличается от указанных в описании вакансии.

О Lambda:

• Основана в 2012 году, более 500 сотрудников, быстро растет

• Среди наших инвесторов: TWG Global, US Innovative Technology Fund (USIT), Andra Capital, SGW, Andrej Karpathy, ARK Invest, Fincadia Advisors, G Squared, In-Q-Tel (IQT), KHK & Partners, NVIDIA, Pegatron, Supermicro, Wistron, Wiwynn, Gradient Ventures, Mercato Partners, SVB, 1517 и Crescent Cove

• Наши исследовательские работы принимаются на ведущих конференциях по машинному обучению и графике, включая NeurIPS, ICCV, SIGGRAPH и TOG

• Наши ценности общедоступны

• Мы предлагаем щедрую компенсацию наличными и акциями

• Медицинское страхование, стоматологическое страхование и страхование зрения для вас и ваших иждивенцев

• Стипендии на оздоровление и проезд для отдельных должностей

• Пенсионный план 401k с 2% корпоративным соответствием (для сотрудников из США)

• Гибкий план оплачиваемого отпуска, которым мы все действительно пользуемся

Работодатель, предоставляющий равные возможности:

Lambda является работодателем, предоставляющим равные возможности. Кандидаты рассматриваются независимо от расы, цвета кожи, религии, вероисповедания, национального происхождения, возраста, пола, гендера, семейного положения, сексуальной ориентации и идентичности, генетической информации, статуса ветерана, гражданства или любых других факторов, запрещенных местным, государственным или федеральным законодательством.