Эксперты - Удаленно
О роли
mpathic предоставляет независимые, междисциплинарные оценки технологий искусственного интеллекта в области здравоохранения, стремящихся к внедрению в реальных клинических условиях. В рамках нашей работы по поддержке регуляторной песочницы Управления политики искусственного интеллекта штата Юта (OAIP) мы привлекаем опытных специалистов в области машинного обучения (ML) и науки о данных для работы в качестве технических рецензентов в экспертных оценочных группах.
В этой роли вы будете самостоятельно оценивать технические доказательства, подтверждающие применение технологий искусственного интеллекта в здравоохранении, включая производительность модели, методологию валидации, обобщаемость, надежность, а также предлагаемые меры мониторинга и защиты. Ваши оценки помогут сформировать рекомендации относительно того, может ли технология искусственного интеллекта быть подходящей для пилотного внедрения и при каких условиях.
Вы будете работать совместно с клиницистами и другими экспертами для оценки того, подтверждаются ли заявленные технические претензии заявителей достоверными доказательствами и соответствуют ли предлагаемые ими планы оценки и мониторинга предполагаемой среде здравоохранения и целевой группе пациентов.
Это роль оценки и научного рецензирования, а не разработка моделей. Мы ищем экспертов, которые могут критически оценивать существующие доказательства, выявлять ограничения и доносить практические рекомендации до технических и нетехнических заинтересованных сторон.
Чем вы будете заниматься
Обязанности могут включать:
- Оценка производительности и валидации модели: Оценка адекватности методов валидации, эталонных стандартов, размеров выборки, статистического анализа, показателей производительности, рабочих порогов и сообщаемой неопределенности.
- Оценка качества и репрезентативности данных: Проверка соответствия обучающих, тестовых и валидационных наборов данных предполагаемому клиническому применению, включая потенциальную утечку данных, различия в производительности по подгруппам и обобщаемость для различных групп пациентов и условий здравоохранения.
- Оценка технической надежности: Оценка доказательств робастности модели, воспроизводимости, известных сценариев отказа и производительности при атипичных или внераспределительных входных данных.
- Проверка предложенных планов оценки: Определение того, установили ли заявители научно обоснованные методы, контрольные показатели производительности и критерии успеха для оценки технологий искусственного интеллекта во время пилотного внедрения, особенно при ограниченности доказательств до внедрения.
- Оценка технических средств защиты и человеческого надзора: Оценка операционной осуществимости предложенных технических средств защиты, механизмов эскалации и процессов с участием человека (human-in-the-loop) и их подкрепления соответствующим тестированием.
- Оценка мониторинга и управления изменениями: Оценка планов заявителей по обнаружению снижения производительности, мониторингу поведения модели, управлению обновлениями и установлению критериев для вмешательства или отката.
- Сотрудничество с междисциплинарными рецензентами: Работа совместно с клиницистами и другими техническими экспертами для выявления проблем, требующих междисциплинарной оценки, особенно когда производительность модели может повлиять на клинические результаты.
- Создание структурированных результатов оценки: Документирование сильных сторон, ограничений, недостающих доказательств и технических проблем с использованием стандартизированной структуры рецензирования. Предоставление четких, основанных на доказательствах рекомендаций и определение того, какие дополнительные доказательства или изменения решат выявленные проблемы.
- Участие в калибровке рецензентов и обеспечении качества: Внесение вклада в обсуждения, направленные на повышение последовательности, прозрачности и обоснованности всех оценок.
- Поддержание независимости и конфиденциальности: Соблюдение требований к конфликту интересов, конфиденциальности и обработке данных при рецензировании проприетарных или неопубликованных материалов.
Кого мы ищем
Мы ищем технически строгих, независимых рецензентов, которые могут отличать перспективную технологию от доказательств, адекватно подтверждающих ее предполагаемое использование.
Сильные кандидаты уверены в постановке под сомнение необоснованных заявлений о производительности, выявлении ограничений в дизайне исследования и определении того, когда требуются дополнительные доказательства, прежде чем можно будет сделать значимые выводы. Они понимают, что оценка искусственного интеллекта в здравоохранении зависит от контекста: техническая производительность должна рассматриваться наряду с предполагаемой популяцией, клиническим применением, степенью автономности и потенциальными последствиями ошибок модели.
Кандидаты также должны уметь переводить сложные технические выводы в четкие, практические рекомендации для междисциплинарной аудитории, включая клиницистов и представителей государственных регулирующих органов.
Основные квалификации
- Минимум 3 года профессионального опыта или опыта прикладных исследований в области машинного обучения, науки о данных, биостатистики, клинической информатики или смежной области, с непосредственным опытом оценки или валидации предиктивных моделей или систем искусственного интеллекта.
- Демонстрируемое понимание методологий оценки моделей, включая соответствующие показатели производительности, дизайн валидации, статистическую неопределенность, выбор пороговых значений и распространенные источники смещения или методологических ошибок.
- Опыт оценки производительности модели на независимых или отложенных данных и интерпретации того, обобщается ли сообщаемая производительность за пределами набора данных оценки.
- Практический опыт оценки как минимум одного релевантного класса систем искусственного интеллекта, такого как клиническая обработка естественного языка, большие языковые модели, разговорный искусственный интеллект, медицинская визуализация, компьютерное зрение или табличные предиктивные модели.
- Способность критически оценивать технические исследования, отчеты об оценке или исследования валидации и выявлять методологические ограничения или необоснованные выводы.
- Сильные навыки аналитического письма, включая способность четко доносить сложные выводы до нетехнической аудитории.
- Способность работать самостоятельно, внося вклад в междисциплинарную экспертную оценку и процессы калибровки.
- Готовность заключить соглашения о конфиденциальности, раскрыть информацию о конфликте интересов и пройти требуемое обучение для рецензентов.
Предпочтительные квалификации
- Опыт оценки систем искусственного интеллекта или машинного обучения, используемых в здравоохранении, поддержке принятия клинических решений, цифровом здравоохранении или других критически важных средах.
- Знакомство с системами оценки и отчетности в области искусственного интеллекта для здравоохранения, такими как TRIPOD+AI, STARD-AI, CONSORT-AI, DECIDE-AI, или model cards.
- Опыт оценки генеративного искусственного интеллекта, систем на основе LLM или автономных агентов искусственного интеллекта, включая многооборотное поведение, надежность, галлюцинации и технические средства защиты.
- Опыт в тестировании робастности, состязательной оценке, red teaming или систематическом анализе сценариев отказа.
- Знание мониторинга производства, сдвига распределения, дрейфа моделей, контроля версий и практик управления изменениями.
- Опыт проектирования или оценки систем с участием человека (human-in-the-loop) или сравнения производительности модели с суждениями экспертов-людей.
- Знакомство с рекомендациями FDA для медицинских устройств с искусственным интеллектом, поддержки принятия клинических решений или программного обеспечения как медицинского устройства.
- Опыт проведения независимых технических рецензий, научных рецензий, грантовых рецензий или формальных технологических оценок.
- Опыт сотрудничества с клиницистами, исследователями или представителями регулирующих органов по оценке или внедрению искусственного интеллекта.
Структура привлечения
Это контрактная возможность, оплачиваемая по факту рецензирования. Рецензентам будут назначаться заявки на основе их технической экспертизы и конкретных оцениваемых систем искусственного интеллекта.
Задания будут включать рассмотрение материалов заявителей, документирование выводов с использованием стандартизированной системы оценки mpathic и участие в обсуждениях или калибровочных мероприятиях по мере необходимости.
Рецензенты пройдут ознакомление с системой оценки и требованиями проекта перед первым назначением.
Местоположение
Удаленно
Отдел
Эксперты
Тип занятости
Подрядчик
Минимальный опыт
Средний уровень
