Специалист технического персонала (Аналитик качества, Поиск)
Команда: Поиск
Местоположение: Белград
Тип занятости: Полный рабочий день
Perplexity ищет опытного аналитика, чтобы помочь нам создавать и улучшать наши основные поисковые технологии. Вы будете работать на стыке анализа данных и инжиниринга — проектировать метрики, строить конвейеры данных и повышать качество наших систем поиска и ответов.
Эта должность предполагает гибридный формат работы в Белграде, Лондоне или Берлине.
Обязанности
- Выявлять и диагностировать проблемы качества в нашем поисковом конвейере
- Создавать метрики с нуля для отслеживания и измерения качества поиска
- Создавать наборы данных для обучения моделей, включая конвейеры разметки с использованием LLM-as-a-judge
- Улучшать качество поисковых сниппетов и алгоритмы выбора страниц для индексирования
- Проектировать и анализировать A/B-эксперименты для проверки улучшений
Требования
- 4+ года опыта работы в качестве аналитика данных или на схожей должности
- Хорошие навыки программирования — ожидается умение писать код производственного уровня на уровне бэкенд-инженера средней квалификации
- Владение SQL и Python
- Практический опыт работы как минимум с одним из следующих направлений:
- Создание метрик с нуля (не только анализ существующих A/B-экспериментов)
- Построение конвейеров разметки с использованием LLM-as-a-judge
- Обучение ML-моделей, которые были внедрены в продакшен с измеримым улучшением метрик
- Разработка оценочных процедур (eval) с известными верными ответами (например, SimpleQA, BrowseComp) или обеспечение значительных улучшений на основе таких процедур
Желательные навыки
- Опыт работы над поисковыми продуктами
- Знание статистики и методологии A/B-тестирования
- Опыт работы с Apache Spark или Databricks