Human Data Quality Engineer (Founding Team)

Prolific

Prolific не просто способствует инновациям в области ИИ — мы их переосмысливаем. В то время как фундаментальные технологии ИИ становятся общедоступными, инфраструктура человеческих данных Prolific обеспечивает высокое качество, разнообразные данные, необходимые для обучения следующего поколения моделей ИИ. С помощью нашей платформы мы даем исследователям и компаниям доступ к глобальной, этически подобранной базе участников, обеспечивая передовые исследования и обучение ИИ, основанные на инклюзивности и точности.

Роль

Будучи одним из основателей недавно сформированной команды AI Data Services в Prolific, вы поможете создать системы качества для некоторых из самых передовых моделей ИИ в мире. Качество данных — это стратегический приоритет для Prolific, поэтому эта роль требует высокой видимости и прямого взаимодействия с высшим руководством. Это не традиционная роль QA. Мы ищем не того, кто будет проверять данные по заранее определенному чек-листу. Мы ищем новатора, который сможет использовать свой опыт, чтобы определить, что такое «хорошо», когда определения еще не существует.

Вы будете выступать в качестве стратегического партнера, работая на стыке человеческих данных, машинного обучения и оценки в передовых сценариях использования, которые определяют, как выглядят высококачественные человеческие данные для следующего поколения продвинутого ИИ. Это означает, что большая часть работы связана с новыми проблемами, на которые нет устоявшегося ответа, поэтому вы будете чувствовать себя комфортно, работая в условиях неопределенности.

Ваша основная задача — работать напрямую с клиентами и вместе с передовыми лабораториями ИИ, переводя их потребности в надежные данные и стратегии оценки. Вместо того чтобы проверять качество в конце проекта, вы будете внедрять качество на каждом этапе жизненного цикла, от проектирования исследований и стратегии участников до оценки, готовности к запуску и доставки клиенту. Вы также будете работать вместе с нашими командами по разработке продуктов и поставкам, чтобы определить и построить инфраструктуру качества, которая позволит нам поставлять высококачественные человеческие данные в масштабе.

Большая часть работы, которую вы будете выполнять, не будет иметь существующего руководства. Вы поможете его создать.

Мы создали уникальную платформу, которая связывает исследователей и компании с глобальным пулом участников, позволяя собирать высококачественные, этически полученные данные о поведении человека и обратную связь. Эти данные являются краеугольным камнем для разработки более точных, нюансированных и согласованных систем ИИ.

Мы верим, что следующий скачок в возможностях ИИ произойдет не только за счет масштабирования существующих моделей, но и за счет интеграции разнообразных человеческих перспектив и поведения в разработку ИИ. Предоставляя эту критически важную инфраструктуру человеческих данных, Prolific позиционирует себя на переднем крае следующей волны инноваций в области ИИ — волны, отражающей широту и лучшее в человечестве.

Работа у нас позволит вам быть на переднем крае инноваций в области ИИ, предоставляя доступ к нашей уникальной платформе человеческих данных и возможности для новаторских исследований.

• Разрабатывать системы качества, которые лежат в основе сложных программ по работе с человеческими данными, от критериев оценки до готовности к запуску
• Работать с клиентами в качестве стратегического партнера, оспаривая схемы аннотаций и требования к данным, если они не дадут необходимого для модели сигнала
• Консультировать по дизайну проектов и тому, как выбор схемы может повлиять на качество данных
• Улучшать качество «вверх по течению» в операционном рабочем процессе, от подбора, отбора и обучения до написания инструкций и проведения калибровочных сессий
• Создавать масштабируемые системы качества, фреймворки измерений и автоматизированные проверки с использованием Python и SQL
• Сотрудничать с командами разработки продуктов и инженерами для создания инфраструктуры качества, которая обеспечивает высококачественные человеческие данные в масштабе
• Расследовать проблемы качества и целостности данных, выявляя первопричины и превращая выводы в масштабируемые улучшения
• Проектировать и создавать панели мониторинга, системы мониторинга и отчетности, которые обеспечивают четкую видимость производительности качества и операционной деятельности
• Повышать уровень компетенций в области качества во всей компании, обучая операционный персонал и выступая в качестве наставника для младших аналитиков
• Помогать определить, как Prolific подходит к вопросам качества в новых областях ИИ, формируя лучшие практики по мере роста команды

• Более 5 лет опыта в создании систем качества, оценки или аннотации в среде ИИ, машинного обучения, LLM или человеческих данных
• Отличные навыки работы с Python и SQL, страсть к использованию данных для решения сложных задач в области качества
• Хорошее понимание конвейеров машинного обучения и того, как человеческие данные влияют на производительность модели
• Сильное аналитическое и статистическое мышление, опыт разработки масштабируемых систем качества
• Уверенность и авторитет для взаимодействия с заинтересованными сторонами в передовых лабораториях и выступления в качестве партнера
• Способность использовать свой опыт и знания для влияния и руководства заинтересованными сторонами на всех уровнях, как со стороны клиентов, так и внутри компании
• Способность преобразовывать собственный анализ данных и методологию качества в требования, которые команды разработки продуктов и инженерии могут встроить в системы
• Способность четко объяснять свой анализ данных и выводы нетехническим заинтересованным сторонам, чтобы они могли действовать на их основе
• Проактивный, ориентированный на создание подход — вам нравится создавать новые системы, работать в условиях неопределенности и улучшать процессы

Присоединяйтесь к нам, чтобы насладиться конкурентоспособной заработной платой, льготами и удаленной работой в рамках нашей влиятельной, миссионерской культуры. В Prolific наши компенсационные пакеты для соответствующих ролей включают базовую заработную плату, акции и льготы. Многие роли также предлагают возможность заработать переменный элемент в виде денежных средств, такой как бонус или комиссия. Каждое объявление о вакансии показывает диапазон заработной платы, отражающий минимум и максимум для новых сотрудников, в зависимости от местоположения роли, а также ваших навыков, опыта и соответствующего образования или обучения. Ваш рекрутер также будет рад сообщить конкретный диапазон заработной платы для предпочтительного местоположения во время процесса найма.