Engineering Manager, Runtime - Storage

Название: Engineering Manager, Runtime - Storage Компания: Baseten Местоположение: Сан-Франциско / Гибридный формат

Компенсация: $165K - $330K в год

О BASETEN

Baseten обеспечивает работу критически важных систем инференса для самых динамичных AI-компаний мира, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные AI-исследования, гибкую инфраструктуру и удобные инструменты для разработчиков, мы позволяем компаниям, работающим на передовом крае AI, выводить в продакшн новейшие модели. Мы быстро растем и недавно привлекли $1,5 млрд в рамках раунда F под руководством Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите построить платформу, которую инженеры используют для выпуска AI-продуктов.

РОЛЬ

Контейнерные среды выполнения были разработаны для универсальных программных нагрузок. AI-инференс — это не универсальная рабочая нагрузка.

Запуск больших моделей в масштабах продакшна выявляет проблемы на каждом уровне контейнерного стека: среды выполнения, не учитывающие ограничения GPU-памяти, образы, которые скачиваются минутами, когда модель должна масштабироваться до тысяч реплик, и механизмы изоляции, не предназначенные для многопользовательских сред обслуживания, которые требуются для продакшна AI. Инструменты, на которые индустрия полагалась десятилетие, не были созданы для этого, и исправление этих ограничений на более высоких уровнях не решает проблему полностью.

Baseten отвечает за весь пайплайн, от момента, когда разработчик отправляет модель, до момента, когда запрос получает ответ. Эта вертикальная ответственность означает, что мы можем устранять проблемы у их корня. Команда Runtime Fabric именно этим и занимается: целенаправленно строит среды выполнения контейнеров и уровни хранения данных для AI-инференс нагрузок, под руководством одних из ведущих контрибьюторов containerd в мире.

В качестве Engineering Manager по Storage Products в команде Runtime Fabric вы будете руководить инженерами, которые создают и поддерживают продукты для хранения данных, лежащие в основе этого стека: Baseten Delivery Network (BDN), который находится на пути холодного старта каждой модели на платформе, snapshotters и файловые системы, которые предоставляют веса моделей и образы контейнеров работающему контейнеру, а также хранилище, которое необходимо для развертывания моделей и обучения.

Команда занимается разработкой кэширования следующего поколения для инференс нагрузок, от уровня origin до GPU-хоста. Вы будете отвечать за надежность этой области как измеримый результат, подчиняться руководителю Runtime Fabric и оставаться в курсе кода посредством обзоров дизайна и кода. Если у вас есть опыт управления системными инженерами и практический опыт в области кэширования, адресно-зависимого хранения данных или распределенных файловых систем, мы будем рады пообщаться.

ПРИМЕРЫ ИНИЦИАТИВ

• Как Baseten Delivery Network (BDN) ускоряет холодные старты
• Расширение BDN от весов моделей до слоев образов контейнеров, чекпоинтов обучения и артефактов развертывания
• Ленивая загрузка snapshotters и блочная доставка (EROFS, FUSE, ublk), чтобы контейнер мог запуститься до того, как полный образ или модель будут доставлены

ОБЯЗАННОСТИ

Лидерство в команде и культура

• Найм и развитие команды из 5-10 системных инженеров с опытом в области хранения данных, кэширования и Linux.
• Планирование и выполнение работы команды: определение объема работ в соответствии с дорожной картой Runtime Fabric, установка приоритетов и предсказуемое выполнение задач.
• Регулярное наставничество, предоставление обратной связи и поддержка карьерного роста для ваших прямых подчиненных.
• Ответственность за работоспособность сервисов команды в режиме 24/7, включая пути эскалации и последующие действия при инцидентах.

Техническое направление

• Руководство архитектурой и развитием Baseten Delivery Network: многоуровневого продукта для кэширования и доставки весов, который ускоряет холодные старты в 2-3 раза и устраняет сбои типа "thundering herd" во время пиковых нагрузок.
• Формирование продуктов для хранения данных, адаптированных к рабочим нагрузкам Baseten: расширение BDN от весов моделей до образов контейнеров, чекпоинтов обучения и артефактов развертывания, а также определение интерфейсов, которые команды развертывания моделей, обучения и клиенты используют для доступа к ним.
• Надзор за работой на хосте: ленивая загрузка snapshotters, компоновка EROFS и overlayfs, а также блочная доставка (FUSE, ublk) для файлов размером в несколько гигабайт.
• Ответственность за надежность пути доставки как измеримый результат: сквозная инструментализация от инициализации snapshotter до первого запроса на инференс, целевые показатели для поведения при холодном старте и кэшировании, устойчивость к сбоям вышестоящих реестров и объектных хранилищ, а также безопасное развертывание изменений в пути, от которого зависит каждый клиент.
• Обеспечение работоспособности пути доставки на гетерогенных кластерах и у различных облачных провайдеров, каждый из которых имеет собственное объектное хранилище и сетевую инфраструктуру.
• Обзор дизайнов и кода в данной области, а также выполнение практических задач, когда это необходимо для разблокировки команды.
• Продвижение вклада команды в containerd и экосистему snapshotter совместно с контрибьюторами из команды Runtime Fabric.

Межфункциональное партнерство

• Выступать в качестве контактного лица по вопросам хранения данных во всей компании Baseten, обеспечивая поддержку интеграции для команд развертывания моделей, обучения и платформы.
• Оптимизация требований к базовым платформам хранения данных с командой инфраструктуры: объектное хранилище, локальные NVMe и блочные устройства, а также пропускная способность сети для каждого кластера, чтобы решения по емкости и выбору провайдера учитывали потребности пути доставки.
• Управление зависимостями команды в обоих направлениях: определение порядка работ, от которых зависят команды развертывания моделей, обучения и инфраструктуры, а также согласование интерфейсов и сроков с командами и вышестоящими проектами, от которых зависит путь хранения данных.
• Сотрудничество с руководителем Runtime Fabric и заинтересованными сторонами продукта для определения приоритетов инвестиций в хранение данных на основе влияния на клиента и надежности инфраструктуры.
• Четкое информирование команды и руководства о прогрессе команды, технических компромиссах и инцидентах.

ТРЕБОВАНИЯ

• Опыт управления командой инженеров в области систем, инфраструктуры или хранения данных, включая наем и управление эффективностью.
• Практический опыт работы с распределенными системами хранения данных, адресно-зависимыми системами хранения данных или крупномасштабной кэширующей инфраструктурой.
• Опыт системного программирования на Go, Rust и/или C/C++, с возможностью участвовать в обзорах кода и обсуждении архитектуры.
• Знание стека хранения данных Linux: файловые системы, page cache, блочные устройства и точки монтирования.
• Понимание того, как образы контейнеров структурируются, хранятся и доставляются в масштабе.
• Отличные навыки письменного и устного общения, способность влиять без полномочий на другие команды.

ПРИВЕТСТВУЕТСЯ

• Вклад в containerd/containerd, проекты snapshotter (stargz, soci, nydus, overlaybd), distribution/distribution или тесно связанные open-source проекты.
• Знакомство с lazy-loading snapshotters или распределением образов по принципу "peer-to-peer".
• Опыт работы с EROFS, FUSE, ublk или io_uring.
• Опыт создания или эксплуатации CDN, объектных хранилищ или крупномасштабной кэширующей инфраструктуры.
• Опыт развертывания сервисов хранения данных на Kubernetes.

ПРЕИМУЩЕСТВА

• Конкурентоспособная компенсация, включая значительный пакет акций.
• (Только для США) 100% покрытие медицинских, стоматологических и офтальмологических страховок для сотрудника и его иждивенцев.
• Гибкая политика PTO, включая общекорпоративный "Winter Break" (наши офисы закрыты с кануна Рождества до Нового года!).
• Оплачиваемый отпуск по уходу за ребенком.
• Стипендия на репродуктивные технологии и создание семьи через Carrot.
• (Только для США) Корпоративный 401(k).
• Возможность ознакомиться с различными ML-стартапами, предлагающими непревзойденные возможности для обучения и нетворкинга.

Подавайте заявку сейчас, чтобы отправиться в увлекательное путешествие по формированию будущего AI! Если вы мотивированы, увлечены машинным обучением и хотите стать частью дружной и дальновидной команды, мы будем рады услышать вас.

В Baseten мы стремимся создать разнообразную и инклюзивную рабочую среду. Мы предоставляем равные возможности трудоустройства всем сотрудникам и кандидатам независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем, предоставляющим равные возможности, и рассматриваем квалифицированных кандидатов с криминальным прошлым в соответствии с применимым законодательством (например, в соответствии с требованиями Ордонанса о справедливых шансах Сан-Франциско, где применимо).