Product Manager, Inference Platform

Вознаграждение: $235K - $335K в год

О BASETEN

Baseten обеспечивает работу критически важных инференс-систем для наиболее динамичных AI-компаний мира, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные исследования в области ИИ, гибкую инфраструктуру и бесшовные инструменты для разработчиков, мы позволяем компаниям, работающим на переднем крае ИИ, выводить передовые модели в продакшн. Мы быстро растем и недавно привлекли $1,5 млрд в рамках раунда F, возглавляемого Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите построить платформу, к которой обращаются инженеры для развертывания AI-продуктов.

РОЛЬ

Продуктовая функция в Baseten находится на начальном этапе развития. Сегодня наша компания обладает сильной инженерной культурой, одержима клиентами и работает быстро. Мы создаем продуктовую функцию сейчас, и вы станете одним из тех, кто ее определит. Вы будете работать напрямую с нашими основателями и одними из лучших инженеров по системам и ИИ, и вы установите стандарты того, каким должен быть продукт у нас. Менеджеры по продукту в Baseten не стоят над инженерами. Вы зарабатываете доверие, будучи технически подкованным, находя истину у клиентов, строя отличные кросс-функциональные отношения и создавая превосходные продуктовые решения.

После развертывания модели скорость, надежность и экономичность ее работы в масштабе — это то, на чем выигрывают или проигрывают продакшн-инференс-системы. Вы будете отвечать за поверхность, которая это обеспечивает: как развертывания автоматически масштабируются, как маршрутизируется трафик, как система обрабатывает сбои и как рабочие нагрузки масштабируются по кластерам и регионам. Вы будете владеть этими аспектами как продуктами от начала до конца, как с точки зрения внутренней работы, так и с точки зрения конфигурации и мониторинга клиентами, и вы будете устанавливать дорожную карту, по которой смогут строить как инфраструктурные, так и продуктовые команды. Эта область все еще развивается. Представьте себе облачную инфраструктуру середины 2000-х. Ваша задача — сделать в 10 раз проще надежно масштабировать и обслуживать AI-модели в продакшене и установить рыночный стандарт.

Эта роль отлично подойдет, если вы любите глубоко погружаться в технические детали и если вы предпочитаете делать все необходимое для выпуска продукта для клиентов, а не оставаться на уровне стратегии, UX или документации. Вас больше привлекают платформы, системы, GPU, модели и масштабирование инфраструктуры, чем прикладной ИИ, и вы находите истинное удовлетворение в фундаментальной, иногда неприметной работе, которая делает AI-системы надежными и масштабируемыми на инфраструктурном уровне.

ПРИМЕРЫ ИНИЦИАТИВ

Ознакомьтесь с этими статьями из блога, написанными сотрудниками наших команд Product и Infrastructure:

• Как мы создали Multi-cloud Capacity Management (MCM)
• Как Baseten Delivery Network (BDN) ускоряет холодные старты
• Baseten оживляет AI-видео на Nebius

ОБЯЗАННОСТИ

• Управлять масштабированием рабочих нагрузок и их размещением, от автоматического масштабирования в зависимости от нагрузки (увеличение при нагрузке, уменьшение до нуля при простое) до единой политики размещения, учитывающей регион, нормативные требования и предпочтения по емкости.
• Предоставлять приоритет рабочим нагрузкам, ограниченным нормативными требованиями, при работе с конфиденциальными мощностями.
• Обеспечивать надежность продакшн-инференса по умолчанию, чтобы каждый запрос поступал к работоспособной реплике, а поэтапные развертывания никогда не приводили к потере трафика.
• Определять маршрутизацию с учетом региона, с многорегиональной и активной-активной отказоустойчивостью в качестве основных политик, а также интеллектуальное восстановление после зависших или неисправных реплик.
• Создать механизм развертывания для безопасных релизов: переключение трафика, которое обеспечивает канареечные, теневые и A/B-тестирования, наряду с прогревом, сбросом и проверками.
• Расширять границы стоимости и производительности при обслуживании AI в масштабе по показателям задержки, пропускной способности, времени безотказной работы и экономической эффективности.
• Способствовать измеримому снижению MTTR за счет самообслуживаемого управления инцидентами.
• Устанавливать дорожную карту, по которой будут строить команды инфраструктуры и продукта, и управлять каждой возможностью от начала до конца, от поведения на стороне сервера до интерфейса конфигурации и мониторинга для клиента.

ТРЕБОВАНИЯ

• 8+ лет опыта в управлении продуктами, включая глубокий опыт работы с инфраструктурой, распределенными системами или ML Serving.
• Свободное владение навыками рассуждения о масштабировании, маршрутизации, отказоустойчивости и границах стоимости/производительности на уровне, вызывающем уважение у старших инженеров.
• Опыт управления возможностями от начала до конца, от бэкенда до пользовательского интерфейса, а не только отдельными частями.
• Опыт успешного управления кросс-командными дорожными картами и зависимостями, лежащими в их основе.
• Уверенность в определении категории, которая еще не существует в полной мере.

ПРИЯТНО ИМЕТЬ

• Практический опыт работы с GPU-инфраструктурой.
• Опыт работы с Kubernetes.
• Опыт работы с фреймворками для обслуживания, такими как vLLM, TensorRT-LLM или SGLang.

ПРЕИМУЩЕСТВА

• Конкурентоспособная заработная плата, включая значительную долю в акциях компании.
• (Только для США) 100% покрытие медицинского, стоматологического и офтальмологического страхования для сотрудника и его иждивенцев.
• Гибкая политика PTO, включая общекорпоративный зимний перерыв (наши офисы закрыты с кануна Рождества до Нового года!).
• Оплачиваемый отпуск по уходу за ребенком.
• Стипендия на оплату фертильности и помощь в создании семьи через Carrot.
• (Только для США) Организация компанией 401(k).
• Знакомство с разнообразными ML-стартапами, предлагающими непревзойденные возможности для обучения и нетворкинга.

Подавайте заявку сейчас, чтобы отправиться в захватывающее путешествие по формированию будущего ИИ! Если вы мотивированы, увлечены машинным обучением и стремитесь стать частью совместной и дальновидной команды, мы будем рады услышать вас.

В Baseten мы стремимся создавать разнообразную и инклюзивную рабочую среду. Мы предоставляем равные возможности трудоустройства всем сотрудникам и кандидатам независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем, предоставляющим равные возможности, и рассматриваем квалифицированных кандидатов с судимостью в соответствии с применимым законодательством (например, требованиями Ордонанса о справедливых шансах Сан-Франциско, где это применимо).