Member of Technical Staff (Search Crawler Analyst)

Интернет огромен и содержит триллионы URL-адресов. Система сканирования и хранения Perplexity сложна и состоит из нескольких этапов (обнаружение URL, сканирование, парсинг, индексация). Каждый этап предоставляет множество возможностей для улучшений и содержит сложные ошибки. Вы будете работать на стыке анализа данных и инженерии — разрабатывать метрики, создавать конвейеры данных и улучшать качество наших поисковых систем и систем ответов.

Обязанности

• Находить и диагностировать проблемы качества в нашем конвейере сканирования
• Обучать небольшие модели, оптимизирующие конкретные аспекты конвейера (например, качество парсинга)
• Создавать наборы данных для обучения моделей, включая конвейеры разметки LLM-as-a-judge
• Улучшать алгоритмы выбора страниц для индексации
• Разрабатывать и анализировать эксперименты для проверки улучшений

Квалификация

• 4+ года опыта работы аналитиком данных, ML-инженером или на смежной должности
• Отличные навыки программирования: вы должны уметь писать производственный код на уровне мидл-бэкенд-инженера
• Опыт разработки метрик с нуля
• Опыт обучения ML-моделей, которые были внедрены в продакшн с измеримыми улучшениями метрик

Желательно

• Прямой опыт работы с конвейерами веб-сканирования или индексации