Product Manager - AI Evaluations Tooling

Название: Product Manager - AI Evaluations Tooling Местоположение: Иллинойс

Местоположение: Иллинойс Рабочее место: Управление продуктом Занятость: Полная Тип вакансии: Удаленно/Гибрид Обзор вакансии Портфель ИИ Relativity охватывает более 20 продуктов, и мы быстро движемся к развитию агентных возможностей. По мере роста этого портфеля растет и возможность предоставить каждой команде, создающей ИИ в Relativity, общий, стандартизированный способ понимания и улучшения производительности своего ИИ. Команда Evaluations Tooling существует для создания этой основы: платформы, которая стандартизирует методы оценки ИИ, ускоряет скорость, с которой команды могут уверенно выпускать ИИ, и превращает качество ИИ в общие доказательства, на основе которых могут действовать прикладные ученые, команды разработчиков, менеджеры по продуктам и юристы. Мы ищем менеджера по продукту, который будет отвечать за стратегию продукта и дорожную карту платформы оценки Relativity. Ваша миссия — дать возможность каждой команде в Relativity, создающей продукты с использованием ИИ, понимать, измерять и улучшать свою производительность. Это означает превращение того, что прикладные ученые уже проверили, в платформу, которую команды разработчиков, менеджеры по продуктам и юристы-эксперты могут использовать напрямую; создание первоклассной системы тестирования агентных систем, которая позволит нам быстро и уверенно выпускать новые агентные возможности; а также использование мониторинга производства и панелей мониторинга для команд, чтобы организация перешла от реагирования на проблемы с качеством к упреждающему решению их. Это роль платформенного менеджера по продукту с необычайно прямым влиянием. Успешный кандидат воодушевлен глубоко техническими клиентами, комфортно принимает решения о выборе между разработкой и покупкой в быстро меняющемся ландшафте поставщиков и способен поддерживать категорический уровень («все продукты ИИ выпускаются за элитными системами оценки»), одновременно прагматично определяя последовательность действий для достижения этой цели. Описание вакансии и требования Обязанности Руководить видением продукта, стратегией и дорожной картой платформы оценки по всем ее направлениям: конвейер автономной оценки, онлайн-оценка и мониторинг производства, поиск и повторное использование оценок, авторство и утверждение экспертов, а также агентная оценка. Обслуживать каждую команду, создающую ИИ в Relativity. Проводить непрерывное исследование с прикладными учеными, командами инженеров-разработчиков и менеджерами по продуктам, чтобы понять, как каждый из них воспринимает качество ИИ сегодня, и разработать платформу таким образом, чтобы команды могли измерять и улучшать свою собственную производительность, не направляя каждый вопрос через прикладного ученого. Руководить оркестровкой первоклассной системы тестирования агентных систем: оценка траекторий, правильность вызовов инструментов, шкалы промежуточных состояний, долгосрочная оркестровка судей и симуляция многошаговых потоков. Сделайте так, чтобы быстро и безопасно выпускать новые агентные возможности, и сделайте платформу конкурентным преимуществом в том, насколько быстро Relativity может итерировать по агентам. Тесно сотрудничать с юристами-экспертами, чтобы определить задачи, по которым оценивается ИИ, что является правильным результатом, где находятся сложные случаи и как должны быть выражены критерии суждения, чтобы их можно было закодировать, оценить и повторно использовать в продуктах. Создать рабочий процесс авторства и утверждения экспертов, основанный на том, как работают эксперты. Отвечать за панели мониторинга качества для команд. Каждая команда разработчиков ИИ должна иметь возможность открыть представление и понять свою производительность, свое положение относительно планки качества и то, что изменилось с момента последнего выпуска, без необходимости помощи инженеров. Руководить оценками разработки или покупки инфраструктуры трассировки и коммерческих инструментов оценки, а также проводить периодический обзор по мере изменения ландшафта поставщиков. Сотрудничать с инженерами и прикладными учеными по калибровке судей, чтобы LLM-как-судья был достаточно надежным, чтобы контролировать развертывания. Четко формулировать технические компромиссы для заинтересованных сторон, от прикладных ученых до юристов и руководства. Предпочтительная квалификация: Опыт работы с продуктами на основе LLM и понимание того, как они оцениваются (шкалы, LLM-как-судья, автономная против онлайн-оценки). Прямой опыт работы с агентными системами является плюсом, но не требованием. Опыт работы в качестве менеджера по платформе, инструментам для разработчиков или данным/МО, обслуживающего технических клиентов, или продемонстрированная способность быстро осваивать техническую область и завоевывать доверие инженеров и ученых. Комфорт в привлечении нетехнических экспертов к техническим рабочим процессам и переводе их суждений в то, что система может использовать. Сильные аналитические инстинкты: устанавливает метрики, проверяет предположения и меняет курс, когда доказательства указывают на это. Минимальная квалификация: 4+ года опыта управления продуктами в технологической компании, из которых не менее 2 лет в технических продуктах, платформах, инфраструктуре или продуктах данных/МО. Прочное понимание жизненного цикла разработки программного обеспечения и гибких практик. Опыт проведения исследований пользователей с технической аудиторией и преобразования результатов в решения по дорожной карте. Отличные письменные и устные коммуникативные навыки, способность объяснять сложные технические концепции как технической, так и нетехнической аудитории. . Relativity стремится к конкурентоспособной, справедливой и равной практике вознаграждения. Эта должность имеет право на общее вознаграждение, которое включает конкурентоспособную базовую заработную плату, ежегодный бонус за производительность и долгосрочные стимулы. Ожидаемый диапазон заработной платы для этой должности составляет от следующих значений: от 115 000 до 173 000 долларов США Окончательное предложенное вознаграждение будет основано на нескольких факторах, включая, помимо прочего, глубину опыта кандидата, набор навыков, квалификацию и внутреннюю справедливость оплаты труда. Наем на верхней границе диапазона не является типичным, чтобы обеспечить будущий значительный рост заработной платы на этой должности. Требуемые навыки: Agile Methodology, Cross-Functional Teamwork, Market Research, Market Strategy, Product Lifecycle, Product Lifecycle Management (PLM), Product Management, Product Strategies, Stakeholder Management, Team Leadership