Заголовок: Инженер по инфраструктуре (хранилища)
Местоположение: Лондон, Великобритания / Нью-Йорк, Нью-Йорк / Удаленно / Сан-Франциско, Калифорния / Сиэтл, Вашингтон / Лондон, Англия, Великобритания; Нью-Йорк, Нью-Йорк, США; Удаленно; Сан-Франциско, Калифорния, США; Сиэтл, Вашингтон, США
Вознаграждение (Ожидаемый годовой диапазон базовой заработной платы для этой должности составляет:): 180 000 – 220 000 долларов США в год
О нас
Lightning AI — это компания, стоящая за PyTorch Lightning. Основанная в 2019 году, мы создаем комплексную платформу для разработки, обучения и развертывания систем ИИ, призванную воплощать идеи от исследований до производства с меньшим количеством препятствий.
Благодаря нашему слиянию с Voltage Park, неооблачной и ИИ-фабрикой, Lightning AI сочетает в себе программное обеспечение, ориентированное на разработчиков, с экономически эффективными крупномасштабными вычислениями. Команды получают инструменты, необходимые для экспериментов, обучения и производственного инференса, с встроенной безопасностью, наблюдаемостью и контролем.
Мы обслуживаем индивидуальных исследователей, стартапы и крупные предприятия. Lightning AI работает по всему миру с офисами в Нью-Йорке, Сан-Франциско, Сиэтле и Лондоне, и поддерживается Coatue, Index Ventures, Bain Capital Ventures и Firstminute.
Как мы работаем
Люди, которые преуспевают здесь, — это создатели, которые действуют быстро, открыто общаются, берут на себя ответственность и постоянно совершенствуют себя, свои команды и нашу компанию. Вот как это выглядит на практике:
- Действовать решительно: Мы действуем быстро, принимаем взвешенные решения и поддерживаем темп. Мы ценим действие больше, чем совершенство, и учимся, выпуская продукт.
- Брать на себя ответственность: Мы несем ответственность за результаты, а не только за свою индивидуальную работу. Мы принимаем решения, которые продвигают компанию вперед, и доводим их до конца.
- Открыто общаться: Мы общаемся напрямую, стремимся понять и создаем ясность для других. Честные разговоры помогают нам двигаться быстрее вместе.
- Создавать отличные команды: Мы подаем пример, расширяем возможности других и создаем здоровые команды, где люди могут наилучшим образом выполнять свою работу.
- Повышать планку: Мы постоянно совершенствуем себя. Мы учимся на обратной связи, постоянно бросаем вызов себе для роста и сосредотачиваемся на самой важной работе.
- Мыслить долгосрочно: Мы разрабатываем решения на перспективу. Мы создаем масштабируемые системы, упрощаем сложность и используем ИИ и автоматизацию для усиления нашего воздействия.
Кого мы ищем
Lightning AI ищет опытного старшего инженера по инфраструктуре хранения данных для присоединения к нашей команде инженеров по инфраструктуре.
В этой роли вы будете сосредоточены на построении и эксплуатации систем хранения данных, которые обеспечивают крупномасштабное обучение ИИ/МО, инференс и рабочие нагрузки HPC. Вы будете работать на стыке программного обеспечения, аппаратного обеспечения и операций — разрабатывая автоматизацию, повышая надежность и масштабируя распределенные системы хранения данных на нашей собственной инфраструктуре.
Вы будете помогать управлять плоскостью данных нашей инфраструктуры хранения данных, обеспечивая высокопроизводительный доступ к данным с низкой задержкой для самых требовательных рабочих нагрузок ИИ. Вы сыграете ключевую роль в управлении и развитии нашего стека хранения данных (включая VAST и системы, совместимые с S3, такие как Ceph), обеспечивая производительность, надежность и эффективность в масштабе.
Эта должность может быть полностью удаленной в пределах США или гибридной из одного из наших офисных центров (Нью-Йорк, Сан-Франциско, Сиэтл или Лондон) с периодическими выездами команды и компании. В настоящее время мы не можем предоставить визовую поддержку для этой должности.
Что вы будете делать
Системы хранения данных и инфраструктура
- Эксплуатировать и масштабировать распределенные системы хранения данных, включая VAST и объектное хранилище, совместимое с S3 (например, Ceph)
- Повышать производительность, надежность и эффективность систем хранения данных, поддерживающих крупномасштабные рабочие нагрузки ИИ/МО
- Устранять сложные проблемы хранения данных и пути передачи данных на аппаратном и программном уровнях
- Оптимизировать производительность хранения данных для поддержки высокопроизводительных рабочих нагрузок обучения и инференса ИИ с низкой задержкой
Автоматизация и инструментарий
- Создавать и поддерживать автоматизацию для предоставления, управления и мониторинга инфраструктуры хранения данных
- Разрабатывать инструменты и рабочие процессы на основе Python для снижения ручной операционной нагрузки
- Улучшать управление жизненным циклом кластеров хранения данных, от развертывания до обслуживания и масштабирования
Системы и операции
- Управлять и эксплуатировать системы на базе Linux в производственной среде, включая bare-metal инфраструктуру
- Сотрудничать с командами по инфраструктуре и центрам обработки данных по вводу в эксплуатацию оборудования, обновлениям и решению проблем
- Поддерживать планирование мощностей, отслеживание использования и прогнозирование для систем хранения данных
- Использовать мониторинг и телеметрию для диагностики проблем и повышения производительности и надежности системы
Межфункциональное сотрудничество
- Тесно сотрудничать с командами по инженерии инфраструктуры, сетевой инженерии и платформенной инженерии для интеграции хранилищ данных в общую платформу
- Участвовать в обсуждениях дизайна новых развертываний инфраструктуры и стратегий масштабирования
- Помогать определять лучшие практики для эксплуатации систем хранения данных в средах высокопроизводительных вычислений
Что вам понадобится
Обязательные квалификации
- 5+ лет опыта работы в области инженерии инфраструктуры, системной инженерии или смежных областях
- Практический опыт эксплуатации распределенных систем хранения данных (например, VAST, Ceph или аналогичных)
- Значительный опыт работы с системами Linux в производственных средах
- Владение Python или аналогичными скриптовыми/языками программирования для автоматизации
- Опыт работы с bare-metal инфраструктурой и аппаратными системами
- Способность отлаживать сложные проблемы, выходящие за границы систем (хранение данных, ОС, оборудование, сети)
- Опыт работы с протоколами сетевого хранения данных (например, NFS или аналогичными)
- Опыт планирования мощностей, мониторинга и оптимизации производительности
Желательный опыт
- Опыт работы с системами хранения данных VAST в производственных средах
- Опыт эксплуатации объектного хранилища, совместимого с S3, в масштабе
- Опыт работы с центрами обработки данных, включая работу с физическим оборудованием
- Знакомство с рабочими нагрузками ИИ/МО или HPC и их требованиями к хранению данных
- Опыт работы с высокопроизводительными или низколатентными распределенными системами
- Знакомство с технологиями высокопроизводительной передачи данных (например, RDMA, GPU Direct Storage)
- Опыт поддержки рабочих нагрузок на базе GPU или крупномасштабных вычислительных кластеров
Вознаграждение
Мы стремимся предлагать конкурентоспособное вознаграждение, отражающее ценность, которую каждый член команды вносит в нашу миссию. Окончательные предложения основываются на таких факторах, как опыт, навыки, географическое положение и ожидания от роли. Помимо базовой заработной платы, наш пакет вознаграждений для соответствующих ролей включает дискреционный бонус, значительную долю акционерного капитала и комплексные льготы.
Ожидаемый диапазон годовой базовой заработной платы для этой роли составляет:
$180,000 — $220,000 USD
Льготы и преимущества
Мы предлагаем всесторонний и конкурентоспособный пакет льгот, разработанный для поддержки здоровья, благополучия и долгосрочного успеха наших сотрудников:
- Комплексное медицинское покрытие: Медицинское, стоматологическое и офтальмологическое страхование для сотрудников и их иждивенцев.
- Значительный пакет акций: Акции, дающие сотрудникам долю в долгосрочном успехе компании.
- Пенсионные накопления: Соответствие пенсионным взносам 401(k) (США) и пенсионные взносы (Великобритания).
- Гибкое время отдыха: Неограниченное количество дней отпуска, государственные праздники и гибкие выходные для поддержания баланса между работой и личной жизнью.
- Общекорпоративный зимний отпуск: Две недели закрытия компании каждую зиму для отключения и восстановления сил.
- Оплачиваемый отпуск по уходу за ребенком и семьей: Оплачиваемый отпуск для поддержки вас и вашей семьи в важные моменты жизни.
- Профессиональное развитие: Ежегодный бюджет на обучение и развитие для поддержки вашего профессионального роста.
- Льготы для благополучия: Стипендии на оздоровление и работу из дома для поддержки вашего физического и психического благополучия.
- Программа sabbatical: Четыре недели оплачиваемого отпуска sabbatical после четырех лет службы.
- Гибкая работа: Гибкий график и гибридная модель работы для наших офисных команд.
- Питание в офисе: Бесплатное питание в наших офисных центрах.
Льготы могут различаться в зависимости от местоположения, команды и должности.
В Lightning AI мы стремимся создать инклюзивную и разнообразную рабочую среду. Мы верим, что разнообразные команды способствуют инновациям и создают лучшие продукты. Мы предоставляем равные возможности трудоустройства всем сотрудникам и соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, возраста, инвалидности, статуса ветерана или любой другой защищенной характеристики. Мы стремимся построить культуру, в которой каждый сможет процветать и вносить максимальный вклад.
