Senior AI Product Manager, Evals & Annotations

ИИ стремительно трансформирует мир. Поскольку генеративный ИИ меняет отрасли, командам нужны мощные инструменты для мониторинга, устранения неполадок и оптимизации своих систем ИИ. Вот тут-то мы и приходим. Arize AI — это ведущая платформа для наблюдения и оценки ИИ и агентов, позволяющая инженерам ИИ создавать высокопроизводительных, надежных агентов и приложений. От первого прототипа до масштаба производства Arize объединяет разработку, тестирование и эксплуатацию в едином рабочем пространстве, чтобы команды могли уверенно и быстрее выпускать продукцию.

Arize обслуживает быстрорастущую клиентскую базу из более чем 150 ведущих предприятий и компаний из списка Fortune 500. Такие клиенты, как Booking.com, Uber, Siemens и PepsiCo, используют Arize для предоставления работающих решений ИИ.

Возможность

Оценка является центральным элементом того, как разработчики ИИ понимают, измеряют и улучшают свои приложения. Поскольку системы ИИ становятся все более сложными и агентными, разработчикам нужны согласованные рабочие процессы для определения того, что такое «хорошо», оценки поведения, включения обратной связи от людей и постоянного улучшения своих приложений.

Мы ищем высокотехничного, ориентированного на продукт менеджера продукта, который будет отвечать за Evals & Annotations в Arize. Вы будете отвечать за полный жизненный цикл оценки — от создания и выполнения оценки до проверки человеком, анализа и итераций. Это возможность объединить мощные возможности в согласованный, лучший в своем классе опыт разработчика, помогая определить будущее оценок в мире все более автономных и управляемых агентов, в том числе благодаря нашей интеграции с Dynatrace.

Эта роль идеально подходит для человека с сильными взглядами на продукт и UX, который не просто определяет требования, но и активно формирует опыт. Вы будете самостоятельно исследовать рабочие процессы, создавать прототипы и тесно сотрудничать с отделами дизайна и инжиниринга, чтобы превратить идеи в отточенные, технически обоснованные продукты. Вы должны быть так же комфортно работать над дизайном взаимодействия, как и обсуждать технические компромиссы с инженерами.

Хотя Arize был приобретен, мы продолжаем работать с той же срочностью, изобретательностью и практическим подходом, что и стартап на ранней стадии. Отделы продукта, инжиниринга и дизайна тесно сотрудничают, а наши основатели остаются активно вовлеченными в разработку продуктов и дизайн. У вас будет реальная ответственность, вы будете работать напрямую с нашим соучредителем/CPO в среде, которая ценит инициативу, конструктивные дискуссии и готовность помочь там, где это необходимо.

Mиссия Arize — сделать ИИ мира работающим, и работающим на благо людей.

Наши основатели объединились из-за общего разочарования: хотя инвестиции в ИИ стремительно растут во всех отраслях, организации сталкиваются с критической проблемой — пониманием того, насколько эффективно работает ИИ и как улучшить его в масштабе.

Многообразие и инклюзивность @ Arize

Mиссия нашей компании — сделать ИИ работающим и сделать ИИ работающим на благо людей, мы надеемся повлиять на предвзятость во всей отрасли, и это большая мотивация для людей, которые здесь работают. Мы активно надеемся, что сотрудники будут способствовать хорошей культуре.

Регулярно проводим беседы с отраслевыми экспертами, исследователями и этиками из всей экосистемы для продвижения использования ответственного ИИ.

Культурно-сознательные мероприятия, такие как викторина по ЛГБТК+ в месяц гордости.

У нас есть активная подгруппа Lady Arizers

• Отвечать за всю продуктовую область Evals & Annotations Arize, включая создание и выполнение оценок, проверку человеком, рабочие процессы аннотирования и более широкий жизненный цикл оценки
• Определять продуктовую стратегию и дорожную карту, балансируя потребности клиентов, инвестиции в основную платформу, улучшения UX и новые возможности в разработке ИИ и агентов
• Обеспечивать лучший в своем классе опыт оценки. Развивать сильные мнения о том, как должны работать рабочие процессы, самостоятельно прототипировать решения и сотрудничать с отделом дизайна, чтобы превратить эти идеи в интуитивно понятные, отточенные решения
• Формировать будущее оценок по мере развития разработки ИИ в сторону автономных и управляемых агентов, включая возможности в более широкой экосистеме Dynatrace
• Тесно сотрудничать с отделом инжиниринга по технически сложным проблемам, охватывающим выполнение оценки, серверные системы, оркестрацию и инфраструктуру данных. Участвовать в технических дискуссиях, подходах к реализации и компромиссах
• Уделять значительное время общению с клиентами — обычно несколько разговоров в неделю — чтобы понять, как они оценивают и улучшают системы ИИ, выявить основные проблемы и проверить направление развития продукта
• Тесно сотрудничать с нашими соучредителями и кросс-функциональными командами по продуктовому направлению, исследованию дизайна и приоритизации, проявляя независимое суждение и превращая совместное мышление в реализацию
• Принимать четкие решения о приоритетах между конкурирующими требованиями и управлять продуктами от определения проблемы до запуска, внедрения и итераций

• Значительный опыт управления продуктом, самостоятельно отвечающий за технически сложные продукты, ориентированные на разработчиков. Мы гибки в отношении точного количества лет опыта для кандидатов с исключительной технической глубиной, продуктовым видением и ответственностью
• Глубокое понимание оценки LLM и рабочих процессов разработки ИИ, включая автоматические оценки, обратную связь от человека, экспериментирование и то, как разработчики итерируют приложения и агентов ИИ
• Опыт работы с инструментами разработчика, инфраструктурой ИИ, платформами ML или смежными техническими продуктами, с твердым пониманием серверных систем и архитектуры программного обеспечения
• Сильная техническая глубина и практические инженерные навыки. Мы не ожидаем, что вы будете выпускать крупные функции как индивидуальный инженер, но мы ожидаем, что вы:
  • Самостоятельно устраняйте неполадки и при необходимости разбирайтесь в коде
  • Вносите небольшие исправления или PR
  • Создавайте прототипы и технические доказательства концепции
  • Предлагайте технические реализации и продумывайте компромиссы
  • Ведите авторитетные технические дискуссии с инженерами
• Отличные инстинкты в отношении продукта и UX. Вы можете самостоятельно определять и прототипировать основные продуктовые решения, а не просто писать требования, эффективно сотрудничая с дизайнерами и инженерами-дизайнерами для их доработки и выпуска
• Сильная ответственность, инициатива и склонность к действию. Вы комфортно ориентируетесь в неопределенности, идете на компромиссы и готовы работать самостоятельно, не дожидаясь полностью определенной дорожной карты или направления
• Сотруднический, неэгоцентричный подход к работе с основателями, инженерами и дизайнерами. Вы высказываете твердые мнения, участвуете в конструктивных дебатах и преуспеваете в среде, где обязанности пересекаются
• Опыт тесного сотрудничества с техническими клиентами, сильные коммуникативные навыки и способность комфортно переключаться между стратегией и исполнением

Ориентировочная годовая зарплата для этой должности составляет от $200 000 до $250 000, плюс конкурентоспособный пакет акций. Фактическая компенсация определяется на основе различных факторов, связанных с работой, которые могут включать: передаваемый опыт работы, набор навыков и квалификацию. Общая компенсация также включает комплексный пакет льгот, в том числе: медицинское, стоматологическое, офтальмологическое страхование, план 401 (k), неограниченное количество оплачиваемых выходных, щедрый план отпуска по уходу за ребенком и другие услуги для поддержки психического здоровья и благополучия.

Хотя мы являемся компанией, ориентированной на удаленную работу, мы открыли офисы в Нью-Йорке и районе залива Сан-Франциско, чтобы предоставить возможность тем, кто находится в этих городах и хочет работать лично. Для всех остальных сотрудников предусмотрен ежемесячный бюджет на домашний офис для оплаты коворкингов.