Senior Site Reliability Engineer - Storage

Должность: Старший инженер по надежности веб-сайтов — Хранилище данных Местоположение: Офис в Сан-Франциско (Фримонт-стрит) / Офис в Сан-Хосе (Первая улица) / Гибридный формат

Вознаграждение: 267 000–356 000 долларов США в год

Lambda, Superintelligence Cloud, является лидером в области облачной инфраструктуры ИИ, обслуживая десятки тысяч клиентов. Наши клиенты — от исследователей ИИ до предприятий и гиперскейлеров. Миссия Lambda — сделать вычисления такими же повсеместными, как электричество, и дать каждому силу супер-интеллекта. Один человек, один GPU.

Если вы хотите построить лучшее в мире облако для ИИ, присоединяйтесь к нам.

*Примечание: Эта должность требует присутствия в нашем офисе в Сан-Франциско или Сан-Хосе 4 дня в неделю; назначенный день работы из дома в Lambda в настоящее время — вторник.

Команда Storage Engineering в Lambda — это основа наших передовых решений для хранения данных, работающих в масштабах, редко встречающихся на сегодняшних рынках. Мы управляем всем спектром услуг платформы данных Lambda — от низкоуровневых систем хранения данных до API и инструментов, на которых ежедневно работают наши клиенты.

Наша работа напрямую обеспечивает выполнение некоторых из самых требовательных вычислительных нагрузок в отрасли, что означает, что надежность и производительность — это не просто цели, а основа. Мы ищем инженеров, которые хотят решать задачи в масштабе, полностью владеть критически важными системами и помогать формировать будущее инфраструктуры для ИИ и за его пределами.

Что вы будете делать

• Обеспечивать надежность, производительность и пропускную способность производственного парка систем хранения данных Lambda во всех центрах обработки данных, работающих под управлением программно-определяемого плоскости данных Lambda.

• Создавать и поддерживать мониторинг, панели управления и оповещения для производительности, емкости и сбоев оборудования хранения данных.

• Исследовать и устранять инциденты, связанные с хранением данных, используя глубокую телеметрию, журналы и профилирование производительности — от одного сбойного сетевого интерфейса до перестроения всего кластера.

• Автоматизировать рабочие процессы оформления заявок, эскалации и реагирования на инциденты, чтобы команда тратила меньше времени на повторяющуюся сортировку и больше времени на выявление первопричин.

• Проектировать и поддерживать систему самовосстановления для распространенных сценариев сбоев: замена дисков, замена узлов, мониторинг перестроения и перебалансировка емкости.

• Внедрять конвейеры CI/CD для автоматизации и инструментов хранения данных.

• Сотрудничать с инженерами по хранению данных, командой управления парком оборудования и командой Release Engineering для автоматизации развертывания и конфигурации программно-определяемых систем хранения данных на новых и существующих площадках с использованием таких инструментов, как Ansible, Jenkins и т. д.

• Работать с командами по аппаратному обеспечению и сетевым технологиям для диагностики низкоуровневых проблем ввода-вывода и сети — ошибок сетевых адаптеров, состояния RDMA/RoCE/InfiniBand, многопутевости — которые проявляются как симптомы на уровне хранения данных.

• Участвовать в ротации дежурств для поддержки парка систем хранения данных Lambda, с акцентом на снижение среднего времени восстановления (MTTR) и разработку автоматизации, которая предотвратит повторные оповещения об одной и той же проблеме.

У вас есть

• Более 5 лет опыта работы с системами Linux в производственных средах или средах HPC, с практическим опытом работы с системами хранения данных в масштабе на масштабируемых или программно-определяемых платформах (например, CEPH, Lustre, GPFS или аналогичных).

• Практический опыт работы с платформами программно-определяемых систем хранения данных (SDS) в масштабе, включая интеграцию с их управляющими API и API плоскости данных.

• Сильные инстинкты реагирования на инциденты: уверенное владение инцидентом в производственном хранилище от начала до конца, от первого оповещения до выявления первопричины и постмортема.

• Опыт работы с платформами мониторинга и логирования, такими как Prometheus, Grafana, Alertmanager, Datadog или SumoLogic — включая создание панелей управления и маршрутизации оповещений/пейджеров для различных аудиторий.

• Опыт работы с Kubernetes (инструменты GitOps, такие как ArgoCD, Helm/Kustomize) и практическое устранение неполадок.

• Опыт работы с инструментами CI/CD (GitHub Actions, Jenkins, BuildKite), контейнеризацией (Docker/Podman) и системным программированием на Python или Go.

• Опыт работы с инфраструктурой как кодом (Terraform, Ansible).

• Твердое понимание основных протоколов хранения данных, включая файловые (NFS, SMB), объектные (S3), блочные (NVMe-oF/TCP) и структурированные (vector DB, SQL) хранилища.

Желательно

• Опыт работы с передовыми программно-определяемыми решениями для хранения данных, такими как VAST или Weka.

• Экспертиза в области корпоративных систем хранения данных, таких как NetApp, Dell PowerScale, GPFS или Lustre.

• Опыт написания или эксплуатации драйверов Kubernetes CSI.

• Опыт работы с SR-IOV и виртуализацией (KVM/QEMU).

• Опыт работы с GPUDirect Storage, RDMA, InfiniBand или RoCE.

• Знакомство с диагностикой на уровне сетевых адаптеров (ethtool, mlxlink) и инструментами управления парком оборудования (clush или аналогичными).

• Вклад в проекты с открытым исходным кодом для хранения данных.

Информация о диапазоне заработной платы

Годовой диапазон заработной платы для этой должности установлен на основе рыночных данных и других факторов. Однако заработная плата выше или ниже этого диапазона может быть подходящей для кандидата, чья квалификация существенно отличается от указанной в описании вакансии.

О Lambda

• Основана в 2012 году, более 500 сотрудников, быстро растет

• Среди наших инвесторов: TWG Global, US Innovative Technology Fund (USIT), Andrej Karpathy, ARK Invest, Fincadia Advisors, G Squared, In-Q-Tel (IQT), KHK & Partners, NVIDIA, Pegatron, Supermicro, Wistron, Wiwynn, Gradient Ventures, Mercato Partners, SVB, 1517 и Crescent Cove.

• Наши исследовательские работы приняты на ведущих конференциях по машинному обучению и графике, включая NeurIPS, ICCV, SIGGRAPH и TOG.

• Наши ценности доступны публично:

• Мы предлагаем щедрую компенсацию в виде денежных средств и акций.

• Медицинское, стоматологическое и офтальмологическое страхование для вас и ваших иждивенцев.

• Стипендии на оздоровление и проезд для избранных должностей.

• Пенсионный план 401k с 2% корпоративным соответствием (сотрудники в США).

• Гибкий план оплачиваемого отпуска, которым мы все действительно пользуемся.

Равные возможности трудоустройства

Lambda является работодателем, предоставляющим равные возможности. Кандидаты рассматриваются независимо от расы, цвета кожи, религии, вероисповедания, национального происхождения, возраста, пола, семейного положения, сексуальной ориентации и идентичности, генетической информации, статуса ветерана, гражданства или любых других факторов, запрещенных местным, государственным или федеральным законодательством.