Senior Software Engineer - Storage Control Plane

Заголовок: Старший инженер-программист - Storage Control Plane Местоположение: Офис в Сан-Франциско (Fremont St) / Офис в Белвью / Гибридный формат

Компенсация: $266K - $395K в год

Lambda, The Superintelligence Cloud, является лидером в области облачной инфраструктуры для ИИ, обслуживая десятки тысяч клиентов. Наши клиенты варьируются от исследователей ИИ до предприятий и гиперскейлеров. Миссия Lambda — сделать вычислительные мощности такими же повсеместными, как электричество, и дать каждому силу супер интеллекта. Один человек, один GPU.

Если вы хотите создать лучший в мире облачный сервис для ИИ, присоединяйтесь к нам.

Примечание: Эта позиция требует присутствия в нашем офисе в Сан-Франциско или Белвью 4 дня в неделю; назначенный Lambda день удаленной работы в настоящее время — вторник.

В мире распределенного обучения и инференса ИИ, сырой мощности GPU и CPU — это лишь часть картины. Высокопроизводительные сетевые решения и хранилища являются критически важными компонентами, которые объединяют и связывают эти системы, делая возможным революционное обучение и инференс ИИ.

Организация Lambda Infrastructure Engineering создает основу высокопроизводительных ИИ-кластеров, объединяя новейшее оборудование для хранения данных, сетевых решений, GPU и CPU.

Наша экспертиза находится на пересечении:

• Высокопроизводительные распределенные системы хранения данных и протоколы: Мы разрабатываем протоколы и системы, которые обслуживают огромные наборы данных со скоростью, требуемой современными кластеризованными GPU.

• Динамические сети: Мы проектируем передовые сети, которые обеспечивают безопасность для нескольких арендаторов и интеллектуальную маршрутизацию без ущерба для производительности, используя новейшее оборудование для сетей ИИ.

• Кластеризация и виртуализация вычислений: Мы обеспечиваем передовую виртуализацию и кластеризацию, которая позволяет исследователям и инженерам ИИ сосредоточиться на рабочих нагрузках ИИ, а не на инфраструктуре ИИ, раскрывая полную вычислительную пропускную способность кластеризованных GPU.

Обучение и инференс ИИ опираются на петабайты данных, размещенных на больших, высокопроизводительных массивах хранения. В Lambda команда Infrastructure Storage отвечает за то, чтобы данные, питающие ИИ, были быстрыми, производительными и доступными через различные протоколы доступа (соответствующие назначению).

Мы ищем опытного Старшего инженера-программиста для присоединения к нашей команде хранения данных. Вы присоединитесь к команде, ответственной за разработку и внедрение нашего программного обеспечения нового поколения для хранения данных. Эта роль требует экспертизы в распределенных системах и глубокого понимания протоколов файловых, блочных и объектных хранилищ. Вы будете работать над созданием масштабируемой и отказоустойчивой управляющей плоскости хранения данных, которая обеспечивает работу нашей инфраструктуры ИИ и машинного обучения.

Что вы будете делать

• Разрабатывать и создавать независимую от поставщика управляющую плоскость, которая обеспечивает подготовку, масштабирование, восстановление и измерение объемов хранения данных на платформах, которые действительно востребованы нашими клиентами: VAST Data, WEKA, DDN, Pure, NetApp, Ceph, MinIO, и тех, которых еще не существует.

• Определять внутренний слой абстракции, который скрывает API, семантику отказов, параметры QoS и форматы телеметрии, специфичные для поставщика, за единым декларативным интерфейсом, чтобы интеграция нового поставщика была поводом для внедрения, а не для реархитектуры.

• Создавать циклы согласования и оркестрацию на основе CRD (контроллеры Kubernetes, операторы, пользовательские планировщики), которая управляет емкостью, многоарендностью, доменами шифрования и размещением данных в центрах обработки данных и зонах доступности.

• Обеспечивать полную изоляцию нескольких арендаторов: разделение пространств имен и подсистем, QoS и ограничение скорости для каждого арендатора, жизненный цикл учетных данных и ключей, ограничение радиуса поражения, обнаружение «шумных соседей».

• Проектировать движок управления емкостью и размещением: с учетом топологии PCIe, NUMA, доменов отказа. На наших платформах диск, расположенный за тем же коммутатором PCIe, что и обслуживаемый им GPU, превосходит более быстрый диск на другом корневом порту, и управляющая плоскость должна это знать.

• Инструментировать все: определения SLI/SLO, обнаружение регрессий производительности по всему парку оборудования, конвейер наблюдаемости, который позволяет отлаживать петабайтный парк оборудования в 3 часа ночи.

Вы

• Степень бакалавра или магистра в области компьютерных наук или смежной области.

• Более 5 лет опыта разработки программного обеспечения для систем хранения данных.

• Подтвержденный опыт программирования распределенных систем и концепций, таких как балансировщики нагрузки, надежность данных, алгоритмы консенсуса, отказоустойчивость и согласованность данных.

• Сильные навыки программирования на таких языках, как C, C++, Go или Python.

• Опыт работы с внутренними компонентами ядра Linux и системным программированием.

• Опыт работы с одним или несколькими протоколами хранения данных (например, S3, NFS) и файловыми системами, такими как Ceph, DAOS или аналогичными.

• Знакомство с технологиями контейнеризации, такими как Docker и Kubernetes, и работа с производственными нагрузками в этих средах.

• Знакомство с практиками CI/CD и QA для сред разработки распределенных систем.

Будет плюсом

• Опыт работы с рабочими нагрузками AI/ML и уникальными проблемами хранения данных, которые они представляют.

• Знание сетевых технологий центров обработки данных и высокоскоростных интерконнектов (например, InfiniBand, RoCE).

• Опыт оптимизации производительности систем хранения данных.

• Знакомство с технологиями аппаратного ускорения, в частности GPU и DPU.

• Опыт работы с VAST Data, WEKA, DDN, Pure, NetApp или IBM Storage Scale в производственной среде.

• Ceph на уровне 100 PB+ в HPC или AI средах.

• CXL memory pooling, computational storage, ZNS SSD, EDSFF.

• Публикации или выступления на SNIA SDC, FAST, USENIX ATC, LSFMM+BPF, OCP, SC или аналогичных конференциях.

Информация о диапазоне заработной платы

Годовой диапазон заработной платы для этой должности установлен на основе рыночных данных и других факторов. Однако более высокая или более низкая заработная плата может быть уместна для кандидата, чья квалификация существенно отличается от указанной в описании вакансии.

О Lambda

• Основана в 2012 году, более 500 сотрудников, быстро растет

• Среди наших инвесторов notably TWG Global, US Innovative Technology Fund (USIT), Andra Capital, SGW, Andrej Karpathy, ARK Invest, Fincadia Advisors, G Squared, In-Q-Tel (IQT), KHK & Partners, NVIDIA, Pegatron, Supermicro, Wistron, Wiwynn, Gradient Ventures, Mercato Partners, SVB, 1517 и Crescent Cove.

• Наши исследовательские работы принимаются на ведущих конференциях по машинному обучению и графике, включая NeurIPS, ICCV, SIGGRAPH и TOG.

• Наши ценности доступны публично: lambda.ai/careers

• Мы предлагаем щедрую компенсацию наличными и акциями.

• Медицинское страхование, стоматологическое и офтальмологическое покрытие для вас и ваших иждивенцев.

• Стипендии на оздоровление и проезд для отдельных должностей.

• План 401k с 2% корпоративным соответствием (сотрудники из США).

• Гибкий план оплачиваемого отпуска, которым мы все действительно пользуемся.

Работодатель, предоставляющий равные возможности

Lambda является работодателем, предоставляющим равные возможности. Кандидаты рассматриваются независимо от расы, цвета кожи, религии, вероисповедания, национального происхождения, возраста, пола, гендерной идентичности, семейного положения, сексуальной ориентации и идентичности, генетической информации, статуса ветерана, гражданства или любых других факторов, запрещенных местным, государственным или федеральным законодательством.