О роли
Мы ищем опытного QA Reviewer & Project Coordinator. Это практическая роль, сочетающая экспертную оценку и обеспечение качества с повседневной координацией проектов. Вы будете проводить большую часть времени, просматривая материалы, тестируя ИИ-системы и обеспечивая высокое качество результатов, а также помогая держать проекты в порядке, в соответствии с графиком и работающими бесперебойно.
Обзор вакансии
Эта позиция идеально подходит для тех, кто любит как глубокие знания в предметной области, так и операционное исполнение.
Вы будете одним из основных рецензентов работ по безопасности ИИ, проводя обзоры качества, выявляя граничные случаи поведения, тестируя ИИ-модели с помощью ролевых игр и красных команд (red teaming), а также обеспечивая единообразие между проектами. Кроме того, вы будете координировать части активных программ, отслеживая результаты, поддерживая кадровое обеспечение и рабочие процессы проектов, общаясь с заинтересованными сторонами и помогая выявлять операционные риски до того, как они станут проблемами.
Идеальный кандидат любит решать неясные проблемы, обладает исключительным вниманием к деталям, ясно излагает свои мысли и преуспевает в быстро меняющейся стартап-среде.
Что вы будете делать
QA и оценка ИИ
- Просматривать контент ИИ на предмет точности, безопасности, эмпатии и соответствия политике.
- Проводить обзоры качества экспертных оценок и аннотаций.
- Участвовать в калибровочных сессиях для обеспечения единообразия и качества рецензентов.
- Помогать улучшать рабочие процессы QA, документацию для рецензентов и операционные процессы.
- Проводить ролевые игры с реалистичными клиническими сценариями с ИИ-системами для оценки поведения в различных ситуациях.
- Проводить красные команды (red teaming) для выявления режимов отказа, рисков безопасности и граничных случаев поведения.
- Разрабатывать и совершенствовать критерии оценки, таксономии поведения, персоны и руководства по оценке.
- Документировать несоответствия моделей, проблемы безопасности и возможности для улучшения.
- Сотрудничать с исследователями и инженерами для улучшения поведения ИИ посредством структурированной клинической обратной связи.
- Соблюдать строгую конфиденциальность при работе с конфиденциальным клиническим контентом.
Координация проектов
- Поддерживать ежедневное выполнение проектов по обеспечению безопасности и оценке ИИ.
- Отслеживать сроки проектов, результаты и назначения рецензентов.
- Координировать очереди обзоров и помогать сбалансировать рабочую нагрузку между командами проектов.
- Контролировать ход выполнения проектов и проактивно выявлять риски, блокирующие факторы или проблемы качества.
- Вести трекеры проектов, документацию и отчетные панели.
- Помогать с координацией кадрового обеспечения по мере изменения потребностей проекта.
- Помогать в проведении совещаний по проекту и документировании пунктов действий и последующих задач.
Обязательные квалификации
- Знакомство с ChatGPT, Claude, Gemini или другими большими языковыми моделями.
- Отличные навыки письменного общения и ведения документации.
- Сильные организаторские навыки с исключительным вниманием к деталям.
- Умение одновременно управлять несколькими приоритетами.
- Способность работать самостоятельно, эффективно сотрудничая с другими командами.
- Готовность работать в быстро меняющейся стартап-среде с меняющимися приоритетами.
Предпочтительные квалификации
- Опыт рецензирования или аудита клинической работы на предмет качества.
- Опыт в области безопасности ИИ, оценки LLM, инженерии промптов (prompt engineering) или красных команд (red teaming).
- Опыт в области доверия и безопасности (trust & safety), модерации контента или разработки поведенческих политик.
- Опыт разработки критериев оценки, таксономий или руководств по аннотированию.
- Знакомство с аннотированием данных или рабочими процессами оценки с участием человека.
- Клинический опыт работы с серьезными психическими заболеваниями, кризисным вмешательством или сложными группами населения, нуждающимися в поведенческой помощи.
- Опыт координации проектов или управления проектами.
- Опыт проведения калибровочных сессий или обучения рецензентов.
- Опыт работы с Google Workspace, Slack, таблицами и инструментами управления проектами.
Вы будете здесь преуспевать, если...
- Замечаете детали, которые упускают другие.
- Можете выявить проблемы качества до того, как они станут более крупными.
- Получаете удовольствие как от аналитической работы по обзору, так и от координации людей и проектов.
- Ясно общаетесь с клиническими и операционными командами.
- Балансируете между самостоятельным решением проблем и пониманием, когда нужно эскалировать.
- Преуспеваете в условиях неопределенности и быстро меняющейся обстановки.
- Глубоко заботитесь о создании ИИ-систем, которые безопасны, надежны и клинически ответственны.
- Берете на себя ответственность и последовательно доводите дело до конца.
Дополнительные требования
- Возможность работать на месте в нашем назначенном офисном помещении (Сиэтл или Бостон).
- Готовность подписать полные соглашения о конфиденциальности и NDA.
- Готовность работать с конфиденциальным контентом, касающимся психического здоровья и безопасности ИИ.
- Участие в регулярных совещаниях по проекту, калибровочных сессиях и оперативном планировании.
- Готовность поддерживать работу по случаю выполнения срочных приоритетных проектных задач, включая потенциальную работу в вечернее и выходное время.
Подавайте заявку, даже если вы не соответствуете всем требованиям
Мы знаем, что отличные кандидаты могут не соответствовать каждому пункту описания вакансии. Если эта роль вас привлекает и вы хотите помочь улучшить будущее медицинских исследований и безопасности ИИ, мы будем рады услышать от вас.
Местоположение: Сиэтл, Вашингтон
Отдел: AI Safety - Human Data
Тип занятости: Полный рабочий день
Компенсация: $110,000 - $125,000
