Human Data Quality Engineer (Founding Team)

Инженер по качеству человеческих данных (основательская команда)

Prolific

Prolific не просто способствует инновациям в области ИИ — мы их переосмысливаем. В то время как базовые технологии ИИ становятся общедоступными, инфраструктура человеческих данных Prolific обеспечивает высококачественные, разнообразные данные, необходимые для обучения следующего поколения моделей ИИ. С помощью нашей платформы мы даем исследователям и компаниям возможность получить доступ к глобальной, этически курируемой базе участников, обеспечивая передовые исследования и обучение ИИ, основанные на инклюзивности и точности.

Роль

В качестве одного из основателей вновь созданной команды AI Data Services в Prolific вы будете помогать создавать системы качества для некоторых из самых передовых моделей ИИ в мире. Качество данных является стратегическим приоритетом для Prolific, поэтому это роль с высокой видимостью и прямым доступом к старшим заинтересованным сторонам. Это не традиционная роль QA. Мы ищем не того, кто будет проверять данные по заранее определенному контрольному списку. Мы ищем инновационного мыслителя, который может использовать свой опыт, чтобы определить, что означает «хорошо», когда такого определения еще нет.

Выступая в качестве стратегического партнера по мышлению, вы будете работать на стыке человеческих данных, машинного обучения, оценки в передовых сценариях использования, определяя, как выглядят высококачественные человеческие данные для следующего поколения передового ИИ. Это означает, что большая часть работы связана с новыми проблемами, на которые нет установленных ответов, поэтому вы будете чувствовать себя комфортно, работая в условиях неопределенности.

Ваша основная задача — работать напрямую с клиентами и совместно с передовыми лабораториями ИИ, переводя их потребности в моделях в надежные стратегии предоставления данных и оценки. Вместо того, чтобы проверять качество в конце проекта, вы будете обеспечивать качество на каждом этапе жизненного цикла, от дизайна исследования и стратегии участников до оценки, готовности к запуску и поставки клиенту. Вы также будете работать совместно с нашими командами по разработке продуктов и поставкам, чтобы определить и построить инфраструктуру качества, которая позволит нам предоставлять высококачественные человеческие данные в масштабе.

Большая часть работы, которую вы будете выполнять, не будет иметь существующего руководства. Вы поможете его создать.

Что вы будете делать

• Разрабатывать системы качества, которые лежат в основе сложных программ работы с человеческими данными, от матриц оценки до готовности к запуску.
• Работать с клиентами в качестве стратегического партнера по мышлению, оспаривая схемы аннотаций и требования к данным, когда они не смогут дать необходимый сигнал для модели.
• Консультировать по дизайну проектов и тому, как выбор схемы может повлиять на качество данных.
• Обеспечивать качество на всех этапах операционного рабочего процесса, от набора, скрининга и обучения до написания руководств и проведения сеансов калибровки.
• Создавать масштабируемые системы качества, фреймворки измерений и автоматизированные проверки с использованием Python и SQL.
• Сотрудничать с отделами разработки продуктов и инженерии для создания инфраструктуры качества, которая обеспечивает предоставление высококачественных человеческих данных в масштабе.
• Исследовать проблемы качества и целостности данных, выявляя первопричины и преобразуя полученные сведения в масштабируемые улучшения.
• Разрабатывать и создавать панели мониторинга, мониторинг и отчетность, которые обеспечивают четкое представление о качестве и операционной производительности.
• Повышать уровень компетенций в области качества во всей компании, повышая квалификацию сотрудников операционных отделов и выступая в качестве наставника для младших аналитиков.
• Помогать определить, как Prolific подходит к обеспечению качества в новых доменах ИИ, формируя лучшие практики по мере роста команды.

Что вы принесете в эту роль

• Более 5 лет опыта в создании систем качества, оценки или аннотации в области ИИ, машинного обучения, LLM или человеческих данных.
• Отличные навыки работы с Python и SQL, а также страсть к использованию данных для решения сложных проблем качества.
• Глубокое понимание конвейеров машинного обучения и того, как человеческие данные влияют на производительность модели.
• Сильное аналитическое и статистическое мышление, опыт разработки масштабируемых систем качества.
• Уверенность и авторитет для взаимодействия с заинтересованными сторонами в передовых лабораториях и выступление в качестве партнера.
• Способность использовать свой опыт и знания для влияния и руководства заинтересованными сторонами на всех уровнях, как со стороны клиента, так и внутри компании.
• Способность преобразовывать собственный анализ данных и методологию оценки качества в требования, которые отделы разработки продуктов и инженерии могут встроить в системы.
• Способность четко объяснять свой анализ данных и выводы нетехническим заинтересованным сторонам, чтобы они могли действовать на их основе.
• Проактивный, конструктивный подход — вам нравится создавать новые системы, ориентироваться в неопределенности и улучшать то, как все работает.

Еще лучше, если у вас есть:

• Опыт в оценке LLM, RLHF, безопасности ИИ или красном тестировании.
• Опыт перевода расплывчатых целей модели или оценки в четкие спецификации аннотаций.
• Опыт работы с программами человеческой аннотации или операциями с человеческими данными.
• Знакомство с калибровкой, согласованностью между оценщиками, обнаружением дрейфа или другими методологиями оценки.

Почему Prolific — отличное место для работы

Мы создали уникальную платформу, которая связывает исследователей и компании с глобальным пулом участников, позволяя собирать высококачественные, этически полученные данные о поведении человека и обратную связь. Эти данные являются краеугольным камнем разработки более точных, нюансированных и согласованных систем ИИ.

Мы считаем, что следующий скачок в возможностях ИИ произойдет не только за счет масштабирования существующих моделей, но и за счет интеграции разнообразных человеческих перспектив и поведения в разработку ИИ. Предоставляя эту важную инфраструктуру человеческих данных, Prolific позиционирует себя на переднем крае следующей волны инноваций в области ИИ — волны, которая отражает широту и лучшее в человечестве.

Работа на нас поставит вас на передний край инноваций в области ИИ, предоставив доступ к нашей уникальной платформе человеческих данных и возможности для новаторских исследований.

Присоединяйтесь к нам, чтобы насладиться конкурентоспособной заработной платой, льготами и удаленной работой в рамках нашей влиятельной, ориентированной на миссию культуры. В Prolific наши компенсационные пакеты для соответствующих ролей включают базовую заработную плату, акции и льготы. Многие роли также включают возможность получения переменной части в виде денежных средств, такой как бонус или комиссия. Каждая вакансия показывает диапазон заработной платы, отражающий минимальный и максимальный целевой показатель для новых сотрудников, в зависимости от местоположения роли, а также ваших навыков, опыта и соответствующего образования или обучения. Ваш рекрутер также будет рад сообщить конкретный диапазон заработной платы для предпочтительного вами местоположения в процессе найма.