Senior Product Manager - LLM Inference

Мы ищем Старшего менеджера по продукту — LLM Inference, который будет отвечать за стратегию, дорожную карту и коммерческий успех предложения Runware по LLM-инференсу, охватывающего наш API Model по запросу и выделенные решения для инференса.

Это практическая роль старшего индивидуального контрибьютора с полной ответственностью за клиентский LLM-продукт — от первоначального обнаружения моделей и интеграции API до внедрения в продакшн, масштабирования и расширения на предприятия.

Вы будете работать на стыке пользовательского опыта разработчиков, возможностей LLM, производительности инференса и юнит-экономики, определяя, где Runware может принести наибольшую пользу, и преобразуя потребности клиентов в сфокусированную, коммерчески устойчивую дорожную карту продукта.

Вы будете тесно сотрудничать с командами Engineering, Design, Security и go-to-market, а также с нашим менеджером по продукту Serverless & Compute, который отвечает за базовую вычислительную платформу. Вместе вы будете согласовывать общие приоритеты инфраструктуры и требования к мощностям, одновременно продвигая успех предложения LLM.

Изучите нашу платформу LLM-инференса: Runware LLM API

• Отвечать за стратегию и дорожную карту продукта LLM-инференса. Определять приоритеты по доступности моделей, возможностям API, готовности к продакшну и внедрению клиентами, балансируя потребности разработчиков, техническую осуществимость, влияние на бизнес и юнит-экономику
• Стимулировать исследование потребностей клиентов и соответствие продукта рынку. Работать напрямую с разработчиками, командами AI и техническими лицами, принимающими решения, чтобы понять рабочие нагрузки продакшна, оценить конкурирующие решения, выявить барьеры для внедрения и преобразовать рыночные идеи в продуктовые решения
• Управлять каталогом моделей и их жизненным циклом. Руководить поиском, оценкой, запуском и выводом из эксплуатации моделей — как открытых, так и проприетарных, пользовательских или дообученных. Сотрудничать с Engineering и Partnerships по вопросам выбора моделей, их обслуживания и маршрутизации
• Формировать пользовательский опыт разработчиков и возможности API. Упрощать для клиентов оценку, интеграцию, миграцию и масштабирование LLM-нагрузок с помощью совместимости API, SDK, документации и таких возможностей, как потоковая передача, вызовы инструментов, структурированные выходные данные, кэширование и пакетный инференс. Поддерживать совместимость с форматами OpenAI Chat Completions и Anthropic Messages
• Определять требования к инференсу в продакшне. Сотрудничать с Engineering по вопросам производительности, надежности и стоимости, включая задержку, время до первого токена, пропускную способность, параллелизм, доступность и эффективность обслуживания. Преобразовывать рабочие нагрузки клиентов в требования к выделенным мощностям, ограничениям скорости, маршрутизации, резервированию и наблюдаемости
• Стимулировать внедрение и коммерческий рост. Сотрудничать с Sales, Marketing и Partnerships по позиционированию продукта, ценообразованию, упаковке и техническим оценкам. Поддерживать переход клиентов от самостоятельного использования к устойчивым продакшн-нагрузкам и обязательствам по выделенному инференсу
• Преобразовывать корпоративные потребности в масштабируемые возможности продукта. Работать с Engineering и Security над определением требований к размещению данных, контролю их хранения, сервисным обязательствам и другим критически важным для продакшна возможностям
• Оставаться вовлеченным на протяжении всего цикла разработки продукта. Писать четкие требования, создавать прототипы решений, тестировать API, воспроизводить проблемы клиентов и тесно сотрудничать с инженерами для устранения технических ограничений и выпуска высококачественных релизов
• Отвечать за производительность продукта и бизнес-результаты. Отслеживать активацию, использование в продакшне, удержание, расширение, выручку, валовую прибыль и качество обслуживания. Использовать отзывы клиентов и продуктовые данные для постоянной доработки приоритетов и измерения воздействия

• Подтвержденный опыт управления продуктом в технической среде, ориентированной на разработчиков. Опыт руководства API-продуктами, платформами для разработчиков, AI-инфраструктурой или аналогичными технически сложными предложениями от стратегии и разработки до запуска, внедрения и коммерческого роста
• Глубокое понимание LLM-инференса в продакшне. Способность оценивать возможности моделей и компромиссы при их обслуживании, включая качество вывода, длину контекста, потребление токенов, задержку, пропускную способность, надежность и стоимость, и преобразовывать их в практические продуктовые решения
• Глубокое понимание пользовательского опыта разработчиков и API-продуктов. Знакомство с рабочими процессами разработчиков от первоначальной интеграции до масштабирования в продакшне, включая дизайн API, совместимость, миграцию, SDK, документацию и различия в возможностях моделей
• Сильное коммерческое и продуктовое чутье. Способность балансировать требования клиентов, технические ограничения, рыночные возможности, ценовые соображения и юнит-экономику при определении приоритетов продукта
• Опыт работы напрямую с техническими клиентами. Подтвержденная способность проводить исследования потребностей клиентов, взаимодействовать с разработчиками и техническими лицами, принимающими решения, оценивать продакшн-сценарии использования и отличать повторяющиеся рыночные потребности от разовых запросов
• Практическая техническая подготовка. Умение тестировать API, исследовать поведение продукта, анализировать данные использования, создавать прототипы и обсуждать компромиссы в реализации с инженерами
• Сильное исполнение и кросс-функциональное лидерство. Способность ориентироваться в неопределенности, четко доносить решения, согласовывать интересы заинтересованных сторон и брать на себя ответственность за результаты от первоначального исследования до поставки и измеримых результатов

Сильные отличительные черты

• Прямой опыт создания или масштабирования API LLM-инференса, платформы для обслуживания моделей или продукта AI-инфраструктуры
• Знание GPU-инференса и технологий обслуживания моделей, включая пакетную обработку, квантование, KV-кэширование, планирование мощностей и таких фреймворков, как vLLM, SGLang или TensorRT-LLM
• Опыт оценки, бенчмаркинга LLM и продакшн-применений, таких как AI-агенты, помощники по кодированию и системы генерации с дополненной выборкой
• Опыт использования моделей ценообразования на основе использования, учета токенов, биллинговых систем, юнит-экономики инференса или обязательств по выделенным мощностям
• Знакомство с корпоративными требованиями к безопасности данных, их размещению, наблюдаемости и надежности обслуживания
• Предыдущий практический опыт в разработке программного обеспечения, машинном обучении, инфраструктуре или инструментах для разработчиков

Мы — полностью удаленная команда, которая дважды в год встречается лично для планирования, мозгового штурма, празднования успехов и живого общения. У нас есть основные рабочие часы для совместной работы и звонков, но в остальное время ваш календарь — ваш. Работайте в часы, которые позволяют вам достигать пика производительности, одновременно строя здоровую жизнь.

Наши циклы выпуска быстрые и напряженные, но за ними следует реальный отдых. После больших усилий мы ожидаем, что команда отключится, восстановится и вернется готовой и более сильной, чем когда-либо, для следующего скачка.

• Щедрый оплачиваемый отпуск — отпуск, больничные, государственные праздники
• Значимые опционы на акции — делитесь прибылью, которую вы создаете
• Гибкий график — управляйте своим расписанием вне основных блоков совместной работы
• Семейный отпуск — оплачиваемый отпуск по уходу за ребенком для матери, отца и опекуна
• Корпоративные ретриты — дважды в год встречи в вдохновляющих местах