Human Data Quality Engineer (Founding Team)

Prolific

Prolific не просто способствует развитию инноваций в области ИИ — мы их переосмысливаем. В то время как фундаментальные технологии ИИ становятся товаром, инфраструктура человеческих данных Prolific обеспечивает высокое качество, разнообразные данные, необходимые для обучения следующего поколения моделей ИИ. Через нашу платформу мы даем исследователям и компаниям возможность получить доступ к глобальной, этически курируемой базе участников, обеспечивая передовые исследования и обучение ИИ, основанные на инклюзивности и точности.

Роль

Будучи одним из основателей недавно сформированной команды AI Data Services в Prolific, вы поможете создать системы качества для некоторых из самых передовых моделей ИИ в мире. Качество данных является стратегическим приоритетом для Prolific, поэтому эта роль имеет высокую видимость и прямой контакт со старшими руководителями. Это не традиционная роль QA. Мы ищем не того, кто будет проверять данные по заранее определенному контрольному списку. Мы ищем мыслящего человека, который сможет использовать свой опыт, чтобы определить, что такое «хорошо», когда такое определение еще не существует.

Вы будете выступать в качестве стратегического партнера, работая на стыке человеческих данных, машинного обучения и оценки в передовых прикладных задачах, определяя, как выглядят высококачественные человеческие данные для следующего поколения продвинутого ИИ. Это означает, что большая часть работы связана с новыми задачами, для которых нет устоявшихся ответов, поэтому вы будете чувствовать себя комфортно, работая в условиях неопределенности.

Ваша основная задача — работать напрямую с клиентами и совместно с передовыми лабораториями ИИ, переводя потребности их моделей в надежные стратегии по работе с человеческими данными и оценке. Вместо того чтобы проверять качество в конце проекта, вы будете внедрять качество на каждом этапе жизненного цикла, от разработки исследования и стратегии работы с участниками до оценки, готовности к запуску и предоставления клиенту. Вы также будете работать с нашими командами продуктовой разработки и обеспечения поставок, чтобы определить и построить инфраструктуру качества, которая позволит нам поставлять высококачественные человеческие данные в масштабе.

Большая часть задач, над которыми вы будете работать, не будет иметь существующего руководства. Вы поможете его создать.

Мы создали уникальную платформу, которая соединяет исследователей и компании с глобальным пулом участников, позволяя собирать высококачественные, этически полученные данные о поведении человека и обратную связь. Эти данные являются краеугольным камнем для разработки более точных, нюансированных и согласованных систем ИИ.

Мы считаем, что следующий скачок в возможностях ИИ будет достигнут не только за счет масштабирования существующих моделей, но и за счет интеграции разнообразных человеческих перспектив и поведения в разработку ИИ. Предоставляя эту важнейшую инфраструктуру человеческих данных, Prolific позиционирует себя в авангарде следующей волны инноваций в области ИИ — волны, отражающей широту и лучшее, что есть в человечестве.

Работа у нас позволит вам быть на переднем крае инноваций в области ИИ, предоставляя доступ к нашей уникальной платформе человеческих данных и возможности для новаторских исследований.

• Разрабатывать системы качества, которые лежат в основе сложных программ по работе с человеческими данными, от критериев оценки до готовности к запуску
• Работать с клиентами в качестве стратегического партнера, оспаривая схемы аннотаций и требования к данным, если они не обеспечат нужного модели сигнала
• Консультировать по дизайну проектов и тому, как выбор схемы может повлиять на качество данных
• Обеспечивать качество на всех этапах операционного рабочего процесса, от набора, отбора и обучения участников до написания руководств и проведения сессий калибровки
• Создавать масштабируемые системы качества, фреймворки измерений и автоматизированные проверки с использованием Python и SQL
• Партнерство с продуктовыми и инженерными командами для создания инфраструктуры качества, обеспечивающей высококачественные человеческие данные в масштабе
• Исследовать проблемы качества и целостности данных, выявляя первопричины и преобразуя полученные данные в масштабируемые улучшения
• Архитектурно проектировать и создавать панели мониторинга, системы мониторинга и отчетности, обеспечивающие четкую видимость качества и операционной производительности
• Повышать уровень компетенций в области качества по всей компании, обучая операционный персонал и выступая в качестве наставника для младших аналитиков
• Помогать определить подход Prolific к обеспечению качества в новых областях ИИ, формируя лучшие практики по мере роста команды

• Более 5 лет опыта в создании систем качества, оценки или аннотации в областях ИИ, машинного обучения, LLM или человеческих данных
• Отличные навыки работы с Python и SQL, а также страсть к использованию данных для решения сложных проблем качества
• Глубокое понимание конвейеров машинного обучения и того, как человеческие данные влияют на производительность модели
• Сильное аналитическое и статистическое мышление, опыт разработки масштабируемых систем качества
• Уверенность и авторитет для взаимодействия со стейкхолдерами в передовых лабораториях и выступление в качестве партнера
• Способность использовать свой опыт и знания для влияния и руководства стейкхолдерами на всех уровнях, как со стороны клиентов, так и внутри компании
• Способность преобразовывать собственный анализ данных и методологию оценки качества в требования, которые продуктовые и инженерные команды могут встроить в системы
• Способность четко объяснять свой анализ данных и выводы нетехническим стейкхолдерам, чтобы они могли действовать на их основе
• Проактивный, конструктивный подход — вам нравится создавать новые системы, ориентироваться в неопределенности и улучшать существующие процессы

Присоединяйтесь к нам, чтобы насладиться конкурентоспособной заработной платой, льготами и удаленной работой в рамках нашей миссионерской культуры. В Prolific наши компенсационные пакеты для подходящих должностей включают базовую заработную плату, опционы (equity) и льготы. Многие должности также предоставляют возможность получить переменную часть в виде бонуса или комиссии. Каждое объявление о вакансии показывает диапазон заработной платы, отражающий минимум и максимум, нацеленные на новых сотрудников, основанные на местоположении должности, а также на ваших навыках, опыте и соответствующем образовании или обучении. Ваш рекрутер также будет рад сообщить вам конкретный диапазон заработной платы для предпочитаемого вами местоположения в процессе найма.