Engineering Manager, Inference Performance

Компенсация: $240K - $270K в год

О BASETEN

Baseten обеспечивает работу критически важных систем инференса для самых динамичных AI-компаний в мире, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные AI-исследования, гибкую инфраструктуру и бесшовные инструменты для разработчиков, мы позволяем компаниям, работающим на передовом крае AI, внедрять новейшие модели в продакшен. Мы быстро растем и недавно привлекли $1.5 млрд в рамках раунда Серии F под руководством Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите создать платформу, к которой инженеры обращаются для выпуска AI-продуктов.

РОЛЬ

Мы ищем Engineering Manager, который возглавит часть нашей команды Inference Performance. Эта команда делает самые требовательные AI-нагрузки в мире быстрее и эффективнее на GPU. Вы будете управлять и развивать команду инженеров по производительности инференса, работающих над движком инференса и средой выполнения: ядрами, планировщиком, батчингом, управлением KV-кэшем, спекулятивным декодированием и разделением префиксного/декодирующего этапов. Это техническая руководящая роль с активным участием. Вы будете определять направление, решать сложные проблемы и заслуживать доверие команды, глубоко погружаясь в производительность GPU, а также нанимать, развивать и поддерживать людей, выполняющих работу. Результаты вашей команды напрямую влияют на скорость работы моделей наших клиентов и эффективность их обслуживания. Команда быстро масштабируется, поэтому вы поможете определить ее структуру по мере роста.

ПРИМЕРЫ ИНИЦИАТИВ

Ваша команда будет работать над следующими типами проектов в рамках нашей команды Inference Runtime:

• Оптимизация инференса агентов: движки на 50-90% быстрее
• Ядра для агентов в продакшене
• Обучение моделей в реальном времени для спекулятивного декодирования
• Стек инференса Baseten

ОБЯЗАННОСТИ

• Возглавлять, наставлять и развивать команду инженеров по производительности инференса посредством регулярных встреч 1:1, четкой обратной связи, развития карьеры и оценки производительности.
• Нанимать лучших специалистов по GPU и инференсу, а также создавать сильную, совместную командную культуру по мере масштабирования команды среды выполнения.
• Владеть технической дорожной картой и ее выполнением для работы по повышению производительности среды выполнения, балансируя между потребностями клиентов, выпуском новых моделей и долгосрочными инвестициями в платформу.
• Оставаться близким к технической работе. Просматривать дизайн-документы, руководить усилиями по профилированию и оптимизации, а также помогать команде рассуждать от первых принципов о том, куда уходит время и память.
• Продвигать продакшен-реализацию техник инференса, таких как квантование, спекулятивное декодирование, повторное использование KV-кэша, чанковое префиксное кодирование и пользовательское планирование.
• Превращать улучшения производительности в измеримые результаты: токены на GPU-час, утилизация, задержка и стоимость.
• Помогать команде быстро запускать и настраивать новые архитектуры моделей на новом оборудовании, часто в ту же неделю, когда они выпускаются.
• Сотрудничать с командами Infrastructure, Inference Platform, Kernels, Model APIs и клиентскими командами для определения приоритетов, координации запусков и достижения результатов.
• Устанавливать высокие стандарты качества инжиниринга, бенчмаркинга, операционной эффективности и реагирования на инциденты.

ТРЕБОВАНИЯ

• Степень бакалавра, магистра или доктора наук в области компьютерных наук, инженерии, математики или смежной области.
• Опыт управления инженерами, включая наем, наставничество, предоставление обратной связи и проведение оценок производительности.
• Опыт руководства или тесной поддержки команд по оптимизации GPU в обучении, инференсе или рекомендательных системах.
• Глубокие технические знания рабочих нагрузок GPU, с четким пониманием архитектуры GPU и компромиссов производительности.
• Знакомство с ML-библиотеками, такими как PyTorch, TensorRT или TensorRT-LLM.
• Опыт успешного выполнения дорожных карт и внедрения сложных технических проектов командой.
• Четкие письменные и устные коммуникационные навыки, включая способность согласовывать интересы заинтересованных сторон из разных команд.

ПРИВЕТСТВУЕТСЯ

• Знакомство с движками инференса, такими как vLLM, SGLang или TensorRT-LLM.
• Опыт работы с техниками оптимизации LLM (например, квантование, спекулятивное декодирование, непрерывный батчинг) в продакшене.
• Опыт работы с ядрами GPU (CUDA, Triton, CUTLASS или аналогичными).
• Опыт масштабирования команды в условиях быстрого роста в стартапе.
• Опыт работы в качестве инженера по производительности или системного инженера до перехода на руководящую должность.

ПРЕИМУЩЕСТВА

• Конкурентная компенсация, включая значительную долю в компании (equity).
• (Только для США) 100% покрытие медицинских, стоматологических и офтальмологических страховок для сотрудников и их иждивенцев.
• Гибкая политика оплачиваемых отпусков, включая общекорпоративный зимний перерыв (наши офисы закрыты с Сочельника до Нового года!).
• Оплачиваемый отпуск по уходу за ребенком.
• Стипендия на репродуктивное здоровье и помощь в создании семьи через Carrot.
• (Только для США) Компания-посредник для 401(k).
• Возможность ознакомиться с различными ML-стартапами, предлагая беспрецедентные возможности для обучения и нетворкинга.

Подайте заявку сейчас, чтобы отправиться в увлекательное путешествие по формированию будущего AI! Если вы мотивированный человек со страстью к машинному обучению и желанием стать частью совместной и дальновидной команды, мы будем рады услышать от вас.

В Baseten мы стремимся создавать разнообразную и инклюзивную рабочую среду. Мы предоставляем равные возможности трудоустройства всем сотрудникам и соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем, предоставляющим равные возможности, и будем рассматривать квалифицированных кандидатов с судимостями в соответствии с применимым законодательством (например, в соответствии с требованиями Ордонанса о справедливых шансах Сан-Франциско, где это применимо).