Менеджер программы обеспечения качества ИИ

О Tripadvisor Tripadvisor Group связывает людей с впечатлениями, которыми стоит делиться, и стремится быть самым надежным источником информации о путешествиях и впечатлениях в мире. Мы используем наши бренды, технологии и возможности для связи нашей глобальной аудитории с партнерами посредством богатого контента, руководств по путешествиям и двусторонних торговых площадок для впечатлений, размещения, ресторанов и других категорий путешествий. К дочерним компаниям Tripadvisor, Inc. (Nasdaq: TRIP) относятся портфель брендов и бизнесов в сфере путешествий, включая Tripadvisor, Viator и TheFork.

Менеджер программы обеспечения качества ИИ обеспечивает надежную, точную и соответствующую бизнес-целям работу всех систем искусственного интеллекта в Tripadvisor Travel Experiences. Позиционируя себя на стыке производительности ИИ, удовлетворенности путешественников и разработки продуктов, вы будете создавать фреймворки тестирования, проводить аудит выходных данных ИИ и превращать результаты оценки качества в действенные операционные выводы. Вы будете управлять отслеживанием производительности, помогать кросс-функциональным командам устранять препятствия и регулярно отчитываться о точности ИИ, метриках успеха и дорожных картах улучшений перед руководством.

Место работы: Гибридный формат Эта должность предполагает гибридный формат работы, требующий присутствия в нашем лондонском офисе 2/3 дня в неделю/месяц.

Ключевые обязанности

• Определить стратегию качества в эпоху ИИ: Разработать комплексную фреймворк качества для агентов-людей и агентов ИИ, развивая QA от традиционного аудита на основе выборки к непрерывному управлению качеством на основе ИИ.
• Разработать фреймворки качества и тестирования ИИ: Разработать и поддерживать комплексные критерии оценки, протоколы тестирования и рабочие процессы с участием человека (Human-in-the-Loop, HITL) для проверки корректной работы агентов ИИ, ботов поддержки и рекомендательных систем.
• Аудит выходных данных ИИ и взаимодействий с путешественниками: Непрерывно оценивать сгенерированные ИИ выходные данные (например, автоматизированные чаты поддержки, точность рекомендаций туров и обновления бронирований) на предмет соответствия намерениям, безопасности, тональности и предотвращения галлюцинаций.
• Предоставление бизнес-обновлений и аналитических данных: Готовить отчеты для руководства, которые преобразуют сложные данные оценки QA, коэффициенты точности моделей и тенденции ошибок в стратегические рекомендации для бизнес-лидеров.
• Руководить кросс-функциональными улучшениями ИИ: Тесно сотрудничать с командами Data Science, AI Engineering, Product и CX, чтобы превращать выводы QA в уточнения запросов, доработку моделей и обновление баз знаний.
• Поддерживать темп выпуска: Отслеживать сроки проектов для развертывания новых ИИ, управлять расписанием регрессионного тестирования QA и обеспечивать соблюдение технических команд стандартов качества перед полным развертыванием для путешественников.

Квалификация

• Опыт: 4–6 лет в области технического управления программами, управления QA или операционной деятельности продуктов ИИ/МО, ориентированных на надежность и оценку систем.
• Экспертиза в оценке ИИ: Глубокие операционные знания методологий тестирования ИИ/LLM, оценки запросов, точности распознавания намерений и механизмов безопасности ИИ.
• Предоставление аналитических данных: Подтвержденная способность анализировать журналы ИИ, использовать аналитические инструменты и преобразовывать метрики качества в четкие, готовые для руководства презентации и панели мониторинга.
• Кросс-функциональное сотрудничество: Исключительный опыт налаживания взаимодействия между техническими командами по разработке ИИ, бизнес-стейкхолдерами и операционными службами поддержки путешественников.
• Эмпатия к предметной области: Глубокий интерес к онлайн-путешествиям, поведению путешественников и поддержанию высокого уровня доверия при взаимодействии с пользователями через ИИ.

Предпочтительные квалификации

• Практический опыт работы с современными инструментами оценки LLM, платформами аннотации или инструментами ИИ для обслуживания клиентов (например, Zendesk AI, Intercom, Salesforce).
• Опыт работы в сфере туристических технологий, маркетплейсов электронной коммерции или быстрорастущих потребительских платформ.

Что мы предлагаем

• Конкурентоспособные пакеты вознаграждения (регулярно сравниваемые с последними отраслевыми данными), включая базовую зарплату и ежегодные бонусы
• "Работайте так, как вам удобно" с гибкостью, соответствующей вашему образу жизни. Tripadvisor Group придерживается удаленного подхода к сотрудничеству в рамках мировой команды, с возможностью посещать офис так часто, как вам нравится, или как того требует ваша команда.
• Гибкий график. Баланс между работой и личной жизнью заложен в нашу культуру по дизайну. Доверие и подотчетность делают это возможным.
• Совпадение пожертвований. Помогаете? Помогайте больше! Мы ежегодно сопоставляем квалифицированные благотворительные пожертвования.
• Помощь в обучении. Хотите повысить свой уровень карьеры? Мы рады это слышать! Получайте ежегодную поддержку для квалифицированных программ.
• Пособие на стиль жизни. Ежегодное пособие, которое вы можете потратить на себя. Используйте его на путешествия, оздоровление или на все, что вам подходит.
• Туристические льготы. Мы верим, что путешествия — это развитие сотрудников, поэтому мы предоставляем скидки и многое другое.
• Программа помощи сотрудникам. Мы здесь для вас с ресурсами и программами, которые помогут вам справиться с жизненными трудностями.
• Медицинские льготы. Мы предлагаем отличное покрытие и конкурентоспособные страховые взносы.
• Щеледросская реферальная программа. Помогите нам расти, и вы будете вознаграждены щедрыми премиями за привлечение успешных кандидатов.

Наши культурные столпы:

Путешественник прежде всего Мы существуем для создания ценности для нашего клиента, путешественника. Мы даем возможность нашим поставщикам и партнерам раскрыть эту ценность. Их коллективное поведение и идеи — вот что движет нами.

Исполнение — наше преимущество Мы действуем быстро, экспериментируем, учимся на неудачах, итерируем и улучшаем решения завтрашнего дня во всех аспектах нашего бизнеса. Наше исполнение является гибким, основанным на данных, приоритезированным и масштабируемым. Мы предполагаем, что ни одна проблема не является проблемой другого, и делаем то, что можно сделать сегодня, зная, что завтра принесут новые вызовы.

Мы добиваемся успеха вместе Наилучшие результаты достигаются благодаря эмпатичным, скромным и разнообразным экспертам, работающим над общими целями. Мы неустанно сотрудничаем, ставим под сомнение предположения, даем действенные отзывы и создаем условия для успеха друг друга через уполномоченные команды с четким уставом. Мы прозрачно берем на себя ответственность за наш рост, как индивидуальный, так и командный. Мы отмечаем качество наших усилий, наших знаний и наших коллективных достижений.

Мы стремимся создать доступный и инклюзивный опыт для всех кандидатов. Если вам требуется разумное приспособление во время подачи заявления или в процессе найма, пожалуйста, обязательно свяжитесь с вашим индивидуальным рекрутером или нашей командой по адресу контакт рекрутера.

Если у вас есть дополнительные вопросы о карьере в Tripadvisor, вы можете написать нам по адресу контакт рекрутера. У нас есть все ответы!