Human Data Quality Analyst, AI Business

Prolific

Prolific не просто способствует инновациям в области ИИ — мы их переосмысливаем. В то время как базовые технологии ИИ становятся общедоступными, инфраструктура человеческих данных Prolific обеспечивает высококачественные, разнообразные данные, необходимые для обучения следующего поколения моделей ИИ. Через нашу платформу мы даем исследователям и компаниям возможность получить доступ к глобальной, этически собранной базе участников, обеспечивая передовые исследования и обучение ИИ, основанные на инклюзивности и точности.

Должность

Prolific предоставляет человеческие данные, которые обеспечивают работу следующего поколения моделей ИИ, работая с передовыми лабораториями для получения сложных человеческих суждений, необходимых исследователям для их обучения, оценки и совершенствования. В качестве аналитика качества данных для человека вы будете на переднем крае обеспечения того, чтобы данные улавливали правильный сигнал и были действительно достаточно хороши, чтобы выполнять свою работу.

Это не традиционный, внутренний QA. Вы будете выполнять реальную аналитическую работу: углубляться в наборы данных, выявлять закономерности и сценарии сбоев, исследовать причины изменения качества и превращать сложные выводы в четкие инсайты, которые помогут нам улучшить сбор, проверку и предоставление данных. Вы будете тратить реальное время на внимательное чтение аннотаций, но это то, как вы собираете доказательства, а не то, что вы производите. То, что вы производите, — это анализ, практические рекомендации и улучшенные средства контроля качества.

Вы получите практический опыт работы с данными для человека, аннотированием, конвейерами машинного обучения и оценкой ИИ, работая вместе с отделами качества, инженерии, операций и доставки над новыми и развивающимися проблемами. Не всегда будет установленный план действий. Вы будете руководствоваться нашими инженерами по качеству, но вам также нужно будет проводить собственный анализ, проверять свои предположения и распознавать, когда вам нужен ввод.

Это должность с крутой кривой обучения с первого дня и отличной возможностью для тех, кто находится в начале своей карьеры, получить глубокий практический опыт в быстро развивающейся области ИИ.

Мы создали уникальную платформу, которая связывает исследователей и компании с глобальным пулом участников, позволяя собирать высококачественные, этически полученные данные и отзывы о поведении человека. Эти данные являются краеугольным камнем для разработки более точных, нюансированных и согласованных систем ИИ.

Мы считаем, что следующий скачок в возможностях ИИ произойдет не только за счет масштабирования существующих моделей, но и за счет интеграции разнообразных человеческих перспектив и поведения в разработку ИИ. Предоставляя эту важнейшую инфраструктуру человеческих данных, Prolific позиционирует себя на переднем крае следующей волны инноваций в области ИИ — волны, отражающей широту и лучшие стороны человечества.

Работа у нас поставит вас на передний край инноваций в области ИИ, предоставив доступ к нашей уникальной платформе человеческих данных и возможности для новаторских исследований.

• Осуществлять ежедневное измерение качества в рамках текущих программ по сбору данных для человека, сочетая статистический анализ с регулярным практическим обзором, чтобы определить, пригодны ли данные для предполагаемого использования
• Находить сигнал, стоящий за проблемами качества, путем исследования изменений, количественной оценки их влияния и различения отдельных ошибок от более широких проблем в руководстве, дизайне задач, обучении или инструментарии
• Помогать строить конвейер качества данных вместе с нашими инженерами по качеству, превращая повторяющийся анализ в надежные проверки и автоматизированные системы, включая основанные на правилах, LLM и ML-ассистированные подходы
• Превращать сложный анализ в понятную историю посредством отчетности и визуализаций, которые помогают заинтересованным сторонам понять, что происходит, почему это важно и какие действия поддерживаются доказательствами
• Поддерживать новые программы от проектирования до запуска, помогая разрабатывать рубрики, руководства, эталонные наборы, калибровочные упражнения и производственные ворота для измерения качества с самого начала
• Использовать то, что мы узнаем из текущих программ, для улучшения дизайна аннотаций, руководств, обучения и процессов контроля качества, а затем измерять, работают ли эти изменения

• Вы имеете 1-2 года практического опыта анализа реальных данных в аналитической, качественной, исследовательской или ориентированной на данные роли
• Вы можете использовать SQL и Python для написания собственных запросов и анализа, проверки разумности результатов и объяснения того, как вы их получили
• Вы можете применять статистические концепции, такие как выборка, распределения и вариативность, а также судить, отражает ли результат значимую закономерность или ограниченные доказательства
• Вы можете превратить доказательства в четкое изложение происходящего, подкрепленное конкретными примерами и практическими рекомендациями, на которые могут действовать нетехнические коллеги
• Вы можете тщательно и последовательно оценивать детализированную работу, одновременно выявляя закономерности в более широком наборе данных, процессе или программе
• Когда правильный метод неясен, вы можете протестировать разумный подход, документировать свои рассуждения и распознавать, когда вам нужен ввод

Еще лучше, если у вас есть

• Опыт работы с данными, созданными или оцененными людьми, такими как аннотирование, маркировка данных, проведение исследований, проверка контента или опросы, включая такие меры, как согласие, точность эталонных наборов или коэффициенты дефектов
• Знания в области психологии, поведенческих наук, лингвистики или смежной области, особенно о том, как люди интерпретируют значения и делают суждения
• Понимание того, как данные для человека поддерживают обучение и оценку моделей, включая тонкую настройку с учителем, обучение с подкреплением на основе обратной связи от человека (RLHF), данные предпочтений и эталонные показатели оценки
• Опыт создания четких визуализаций данных или панелей инструментов, которые помогают людям понимать выводы и действовать на их основе

Присоединяйтесь к нам, чтобы насладиться конкурентоспособной заработной платой, льготами и гибридной работой в рамках нашей влиятельной, ориентированной на миссию культуры. В Prolific наши компенсационные пакеты для соответствующих ролей включают базовую зарплату, долевое участие и льготы. Многие роли также предоставляют возможность заработать переменную денежную часть, такую как бонус или комиссия. Ваш рекрутер также будет рад поделиться конкретным диапазоном заработной платы для вашего предпочтительного местоположения в процессе найма.