Senior Data Scientist, Experimentation

О Tripadvisor

Tripadvisor Group объединяет людей с впечатлениями, которыми стоит поделиться, и стремится стать самым надежным источником информации о путешествиях и впечатлениях в мире. Мы используем наши бренды, технологии и возможности для связи нашей глобальной аудитории с партнерами через богатый контент, рекомендации для путешествий и двусторонние рынки для впечатлений, проживания, ресторанов и других категорий путешествий. Дочерние компании Tripadvisor, Inc. (Nasdaq: TRIP) включают портфель туристических брендов и бизнесов, таких как Tripadvisor, Viator и TheFork.

В Tripadvisor Experiences мы любим данные даже больше, чем путешествия. Мы их анализируем, структурируем и используем для принятия обоснованных решений.

Что вы будете делать

Будучи старшим специалистом по данным в нашей команде по экспериментам, вы будете работать над различными продуктовыми областями, выступая в роли партнера, на которого полагаются команды Product и Engineering, чтобы знать, как правильно ставить и проводить исследования, определять, сработали ли изменения и почему.

Большая часть вашей работы будет заключаться в улучшении экспериментов, проводимых этими командами, а не в проведении их за них: улучшение метрик, рекомендаций, инструментов и протоколов, которые позволяют им быстро двигаться вперед без потери строгости.

Вы также будете руководить решением измерительных задач, которые стандартный A/B-тест не может решить, когда трафик ограничен, пользователи конкурируют за одни и те же ресурсы, или результаты, имеющие значение, проявляются через месяцы.

Вы будете:

• Отвечать за стратегию экспериментов и измерений в вашей области, от постановки вопросов до принятия и рассмотрения решений.
• Предоставлять рекомендации, инструменты и протоколы, повышающие скорость экспериментов ваших партнерских команд без потери строгости.
• Руководить разработкой экспериментов, где стандартный A/B-тест недостаточен, включая поверхности с низким трафиком, конкуренцию пользователей за одни и те же ресурсы, долгосрочные или цензурированные результаты, а также изменения, которые нельзя чисто рандомизировать.
• Выходить за рамки определения того, сработало ли изменение, выясняя, почему оно сработало и обобщается ли оно для разных пользователей, рынков и времени.
• Оценивать, как решения, принимаемые вашими командами, влияют на состояние и рост платформы, и сигнализировать об этом, когда краткосрочные выгоды несут долгосрочные издержки.
• Определять и операционализировать систему метрик для вашей области, включая контрольные показатели и прокси-метрики для результатов, которые слишком долго наблюдаются напрямую.
• Повышать чувствительность измерений в вашей области за счет разработки метрик, снижения дисперсии и лучшего определения охвата, чтобы команды могли обнаруживать интересующие их эффекты в реалистичные сроки.
• Стандартизировать повторяющиеся аналитические процессы и процессы экспериментирования в вашей области, используя автоматизацию и возможности искусственного интеллекта, где они повышают согласованность или экономят время.
• Влиять на дорожную карту и приоритизацию с помощью доказательств, в том числе выступать против работы, когда доказательства ее не подтверждают.
• Повышать техническое качество в командах, с которыми вы работаете, путем обзора дизайнов экспериментов и анализов, а также наставничества менее опытных специалистов по данным.

Навыки и опыт

Опыт: Обширный опыт в области науки о данных или аналогичной количественной роли, с подтвержденным опытом поддержки и влияния на продуктовую организацию.

Экспертиза в статистике и экспериментах: Авторитетное владение экспериментами во всех их формах, от дизайна экспериментов и снижения дисперсии до причинно-следственного вывода, многоруких бандитов и байесовских методов. Вы должны уметь разрабатывать и валидировать методологию, а не только применять ее.

Техническая экспертиза и моделирование: Экспертный уровень владения Python и SQL. Глубокий практический опыт статистического моделирования, (квази) экспериментов, многоруких бандитов и широкого спектра методов машинного обучения, таких как регрессия, классификация и кластеризация.

Продуктовое чутье: Продемонстрированная способность определять, реализовывать и операционализировать критически важные продуктовые и функциональные метрики с нуля.

Партнерство и поддержка: Продемонстрированная способность улучшать работу других команд, предоставляя рекомендации, инструменты и протоколы, увеличивая как скорость, так и качество их экспериментов, а не беря работу на себя.

Влияние на решения и состояние платформы: Способность критически оценивать, как продуктовые решения влияют на состояние и рост платформы с течением времени, и использовать эту перспективу при разработке и интерпретации экспериментов.

Стандартизация в масштабе: Опыт стандартизации процессов, фреймворков или методов в нескольких командах, включая использование ИИ и автоматизации для превращения надлежащей практики в стандарт.

Кросс-функциональное партнерство: Подтвержденная способность строить прочные отношения и добиваться результатов в Product, Engineering, Data Platform и других центральных функциях, часто без прямого полномочия.

Критическое мышление: Лидер в критическом мышлении, с подтвержденной привычкой устанавливать надежность результата, прежде чем определять его значение.

Коммуникация: Исключительная способность четко объяснять измерения, методы и неопределенность технической и нетехнической аудитории на всех уровнях.

Образование: Степень бакалавра в области статистики, математики, науки о данных, инженерии, физики, экономики или смежной количественной области.

Вы можете быть особенно подходящим кандидатом, если у вас есть:

• Опыт экспериментирования на маркетплейсе, где взаимодействие между пользователями и общий ресурс усложняют измерения.
• Опыт снижения дисперсии за пределами одного предварительного периода ковариаты и понимание того, что работает, когда интересующая метрика редко встречается или имеет тяжелый хвост.
• Опыт создания или валидации прокси-метрик для долгосрочных результатов.
• Опыт работы с байесовскими подходами, особенно для поверхностей с низким трафиком или объединения данных из небольших рынков.
• Опыт работы с SaaS-инструментами для экспериментов, такими как Statsig, Eppo или GrowthBook, или с внутренней платформой.
• Опыт работы на высокомасштабируемом маркетплейсе, платформе электронной коммерции или туристической платформе, и знакомство с сезонностью и длительными циклами покупок, присущими им.
• Опыт улучшения практики экспериментирования на уровне команды или организации с помощью фреймворков, инструментов или обучения.
• Опыт применения возможностей ИИ или больших языковых моделей для повышения пропускной способности аналитики и качества экспериментов.
• Опыт работы с SaaS-инструментами для экспериментов, такими как Statsig, Eppo или GrowthBook, или с внутренней платформой.

Мы стремимся создать доступную и инклюзивную среду для всех кандидатов. Если вам требуется разумное приспособление во время подачи заявления или в процессе найма, пожалуйста, свяжитесь с вашим индивидуальным рекрутером или нашей командой по адресу AccessibleRecruiting@tripadvisor.com.

Если у вас возникнут дополнительные вопросы о карьере в Tripadvisor, вы можете написать нам по адресу recruitment@tripadvisor.com. У нас есть все ответы!