Principal Product Manager, AI Infrastructure and Orchestration

Название: Principal Product Manager, AI Infrastructure and Orchestration Местоположение: 4 локации

Местоположение: Вашингтон, США - Удаленно Местоположение: Бостон, Массачусетс, США Местоположение: Удаленно, Канада - ON Местоположение: Сан-Франциско, Калифорния, США Занятость: Полная Описание вакансии: DataRobot поставляет ИИ, который максимизирует отдачу и минимизирует бизнес-риски. Наша платформа и приложения интегрируются в основные бизнес-процессы, чтобы команды могли разрабатывать, поставлять и управлять ИИ в масштабе. DataRobot дает возможность специалистам создавать прогнозный и генеративный ИИ, а руководителям — обеспечивать безопасность своих ИИ-активов. Компании по всему миру полагаются на DataRobot для получения ИИ, который имеет смысл для их бизнеса — сегодня и в будущем. Мы запускаем агентов и моделей в продакшене для предприятий, которые не могут перенести свои рабочие нагрузки в публичное облако: регулируемые отрасли, суверенные развертывания, изолированные (air-gapped) и управляемые клиентами кластеры. Управляющий уровень (control plane) — это слой, который делает это возможным. Он развертывает агентов, развертывает модели, которые вызывают эти агенты, и определяет, как каждая рабочая нагрузка размещается, масштабируется, изолируется, маршрутизируется и удаляется в кластерах Kubernetes и гетерогенных ускорителях, в нашем облаке и в облаке клиента. Агенты и модели — это одна проблема развертывания. Агент — это долгоживущая рабочая нагрузка с состоянием сессии и непредсказуемым распределением вызовов, вызывающая модели с крайне неравномерными профилями затрат, и оба они размещаются на одном и том же конечном пуле ускорителей. Правильное распределение этого пула — наша задача. Вы будете владеть этим слоем как продуктом. Вы будете тратить время на обзоры дизайна, API-контракты и производственные данные. Что будет в вашей зоне ответственности: API развертывания и рабочих нагрузок. Модель ресурсов, семантика жизненного цикла, версионирование, обратная совместимость и поведение при ошибках, с которым интегрируются клиенты. Размещение и емкость. Как рабочие нагрузки размещаются на узлах и ускорителях, как работают квоты и приоритеты для разных клиентов (tenants), и что происходит при конкуренции. Масштабирование. Сигналы автомасштабирования, экономика холодного старта и масштабирования до нуля, политика резервирования ресурсов (headroom policy), а также компромисс между стоимостью и задержкой как функция, видимая клиенту. Среда выполнения агента (Agent runtime). Где и как долго выполняется агент, как он изолируется, как выполняются вызовы его инструментов, и как его состояние сохраняется при перезапуске или вытеснении. Трафик и сетевое взаимодействие. Входящие запросы (Ingress) и маршрутизация для конечных точек моделей и агентов, балансировка нагрузки с учетом запросов, границы клиентов (tenancy), а также частное подключение к сетям клиентов. Управление и аудит. Кто что развернул, кто вызвал, по какой политике и с каким контролем доступа, и выживает ли эта запись при аудите клиента. Учет и упаковка. Как измеряется инференс (inference), как устанавливаются квоты, как атрибутируется клиенту и как определяется цена. Надежность. SLO, бюджет ошибок и операционная поверхность, которую использует инженер платформы для диагностики деградировавшего развертывания без открытия заявки в службу поддержки. Вы будете отвечать за дорожную карту этого слоя, координируя работу двух инженерных команд (pods), и согласовывать ее с продуктовыми командами, которые работают поверх этого слоя. Что мы ищем: Опыт работы в управлении продуктами (product management) в области инфраструктуры, платформ для разработчиков или облачных сервисов более 6 лет, из них не менее 3 лет — с продуктами на базе Kubernetes или распределенными системами. Кандидаты на позицию Principal имеют опыт более 9 лет и создавали продуктовые слои, на которых разрабатывали другие продуктовые команды. Глубокое техническое понимание работы GPU и ускорителей: размещение с учетом топологии, дробное и временное разделение ресурсов (fractional and time-sliced sharing), MIG, device plugins и нижележащая инфраструктура драйверов и контейнерных сред выполнения (container runtime), память как ограничивающий фактор, а также стоимость утилизации, когда клиент занимает GPU, который он не насыщает. Глубокое техническое понимание Kubernetes: API server и scheduler, контроллеры и CRD, операторы, admission controllers и RBAC, device plugins, resource requests and limits, node pools, и что происходит, когда pod не может быть запланирован. Опыт работы с мультиарендностью (multi-tenancy): модели изоляции, эффект «шумных соседей» (noisy neighbors), квоты и справедливость, а также дизайны мултиарендности, которые успешно проходят проверку безопасности клиента. Продуктовое чутье в отношении API. Вы отвечали за публичный или платформенный API и несли ответственность за последствия его работы. Техническое письмо и прототипирование как ваш основной способ аргументации: документ для инженера, глубокое погружение (deep dive), публичный пост, справочник по API или рабочий прототип. Комфорт в работе с матричными инженерными командами и без прямых подчиненных. Степень бакалавра или магистра в области Computer Science или тесно связанной технической области, или эквивалентный практический опыт работы в качестве инженера-программиста, инженера платформы или инфраструктуры. Желательно: Глубокое понимание сетевых сервисов (Service Networking): ingress и маршрутизация, балансировка нагрузки при неравномерной стоимости запросов, DNS, TLS termination, частное подключение (private link), а также сетевая политика (network policy) как граница арендного пространства. Современные стеки для обслуживания моделей (serving stacks) и их отказы: vLLM или аналоги, поведение KV cache, пакетирование (batching), компромиссы при квантовании (quantization). Паттерны долгоживущих и агентивных рабочих нагрузок: привязка к сессии (session affinity), состояния (statefulness), распределение вызовов инструментов (tool-call fan-out), изолированное выполнение (sandboxed execution). Развертывания, управляемые клиентом, изолированные (air-gapped) или суверенные, и ограничения соответствия (compliance constraints), связанные с ними. Опыт работы в регулируемых отраслях, где контроль доступа, секреты и возможность аудита на уровне вызовов являются требованиями к продукту. Вклад в CNCF или open-source проекты. Как мы работаем с ИИ: Мы ежедневно используем инструменты ИИ в своей работе и ожидаем того же от вас. Наиболее сильные кандидаты создают, чтобы мыслить: прототип, который тестирует API до его спецификации, система оценки (evaluation harness), агент, подключенный к реальным сервисам, одноразовый инструмент, который отвечает на вопрос по дорожной карте за полдня. Принесите один-два примера того, что вы создали сами. Не требуется код производственного качества; главное — возможность дойти до первой версии, не дожидаясь инженера. Область ответственности роли: Эта роль отвечает за оркестрацию рабочих нагрузок агентов и моделей: размещение, жизненный цикл, масштабирование и изоляцию рабочих нагрузок агентов и моделей на Kubernetes и ускорителях. Она не отвечает за координацию и разработку агентов (логика планировщика и маршрутизатора, стратегия памяти, передача между агентами, поверхности для разработчиков), оркестрацию рабочих процессов в смысле Airflow или Temporal, качество моделей и прикладные исследования, или работу сетевой инфраструктуры кластера, такую как настройка InfiniBand и RoCE для распределенного обучения. На данный момент прямых подчиненных нет. Область ответственности здесь — техническая поверхность и влияние на инженерные команды. Талант и преданность наших сотрудников — основа пути DataRobot к становлению культовой компанией. Мы стремимся привлекать и удерживать лучшие таланты, предоставляя конкурентоспособную оплату и льготы, ориентированные на благополучие наших сотрудников. Вот что может входить в ваш пакет льгот в зависимости от вашего местоположения и местных правовых требований: Медицинское, стоматологическое и офтальмологическое страхование, Программа гибкого отпуска, Оплачиваемые праздники, Оплачиваемый отпуск по уходу за ребенком, Глобальная программа поддержки сотрудников (EAP) и многое другое! Принципы работы DataRobot: Восторгать наших клиентов Устанавливать высокие стандарты Быть лучше, чем вчера Быть тщательными Исходить из позитивных намерений Проводить сложные беседы Быть лучше вместе Обсуждать, Решать, Действовать Достигать результатов Передавать информацию в полном объеме Исследования показывают, что многие женщины подают заявки на вакансии, только когда соответствуют 100% требований, в то время как многие мужчины подают заявки, когда соответствуют 60%. В DataRobot мы призываем ВСЕХ кандидатов, особенно женщин, цветных людей, ЛГБТК+ людей, людей с ограниченными возможностями и других представителей маргинализированных групп, подавать заявки на наши вакансии, даже если вы не соответствуете всем требованиям. Мы будем рады поговорить с вами и узнать, подходите ли вы нам. DataRobot гордится тем, что является работодателем, придерживающимся принципов равных возможностей трудоустройства и позитивных действий. Мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, пола (включая беременность, роды или связанные с ними медицинские состояния), сексуальной ориентации, гендерной идентичности, гендерного самовыражения, возраста, статуса защищенного ветерана, статуса лица с ограниченными возможностями или других применимых юридически защищенных характеристик. DataRobot стремится работать с кандидатами с физическими и умственными ограничениями и предоставлять им разумные условия для проживания. Пожалуйста, ознакомьтесь с плакатом EEO Министерства труда США и дополнением к плакату EEO для получения дополнительной информации. Использование искусственного интеллекта в процессе найма: DataRobot использует утвержденные инструменты на базе ИИ для поддержки процесса найма в выбранных регионах. Эти инструменты могут помочь в написании описаний вакансий, рассмотрении заявок, оценке квалификации и проверке материалов кандидатов. Все решения относительно заявок принимаются членами команды DataRobot. Все данные кандидатов обрабатываются в соответствии с нашей Политикой конфиденциальности кандидатов.