Специалист технического персонала (Аналитик качества, Поиск)

Команда: Поиск
Местоположение: Белград
Тип занятости: Полный рабочий день

Perplexity ищет опытного аналитика, чтобы помочь нам создавать и улучшать наши основные поисковые технологии. Вы будете работать на стыке анализа данных и инжиниринга — проектировать метрики, строить конвейеры данных и повышать качество наших систем поиска и ответов.

Эта должность предполагает гибридный формат работы в Белграде, Лондоне или Берлине.

Обязанности

• Выявлять и диагностировать проблемы качества в нашем поисковом конвейере
• Создавать метрики с нуля для отслеживания и измерения качества поиска
• Создавать наборы данных для обучения моделей, включая конвейеры разметки с использованием LLM-as-a-judge
• Улучшать качество поисковых сниппетов и алгоритмы выбора страниц для индексирования
• Проектировать и анализировать A/B-эксперименты для проверки улучшений

Требования

• 4+ года опыта работы в качестве аналитика данных или на схожей должности
• Хорошие навыки программирования — ожидается умение писать код производственного уровня на уровне бэкенд-инженера средней квалификации
• Владение SQL и Python
• Практический опыт работы как минимум с одним из следующих направлений:
  • Создание метрик с нуля (не только анализ существующих A/B-экспериментов)
  • Построение конвейеров разметки с использованием LLM-as-a-judge
  • Обучение ML-моделей, которые были внедрены в продакшен с измеримым улучшением метрик
  • Разработка оценочных процедур (eval) с известными верными ответами (например, SimpleQA, BrowseComp) или обеспечение значительных улучшений на основе таких процедур

Желательные навыки

• Опыт работы над поисковыми продуктами
• Знание статистики и методологии A/B-тестирования
• Опыт работы с Apache Spark или Databricks