Perplexity ищет опытного аналитика, который поможет нам создавать и улучшать наши основные поисковые технологии. Вы будете работать на стыке анализа данных и инженерии — разрабатывая метрики, создавая конвейеры данных и улучшая качество наших поисковых систем и систем ответов.
Эта позиция предполагает гибридный формат работы в Белграде, Лондоне или Берлине.
Обязанности
- Находить и диагностировать проблемы качества в нашем поисковом конвейере
- Разрабатывать метрики с нуля для отслеживания и измерения качества поиска
- Создавать наборы данных для обучения моделей, включая конвейеры разметки LLM-as-a-judge
- Улучшать качество поисковых сниппетов и алгоритмы выбора страниц для индексации
- Проектировать и анализировать A/B-эксперименты для проверки улучшений
Квалификация
- 4+ года опыта работы аналитиком данных или на аналогичной должности
- Отличные навыки программирования — ожидается написание кода производственного уровня, соответствующего уровню mid-level backend engineer
- Владение SQL и Python
- Подтвержденный практический опыт в одной или нескольких из следующих областей:
- Разработка метрик с нуля (не просто анализ существующих A/B-экспериментов)
- Создание конвейеров разметки с использованием LLM-as-a-judge
- Обучение ML-моделей, которые были внедрены в продакшн с измеримым улучшением метрик
- Разработка оценок с известной истиной (например, SimpleQA, BrowseComp) или достижение значительных улучшений на таких оценках
Приветствуется
- Опыт работы над поисковыми продуктами
- Знание статистики и дизайна A/B-экспериментов
- Опыт работы с Apache Spark или Databricks
