Название: Старший специалист по данным (Оценка и улучшение ИИ)
Компания: Evolent
Местоположение: Работа на дому
Местоположение: Работа на дому
Занятость: Полный рабочий день
Ваше будущее начинается здесь
Evolent сотрудничает со страховыми компаниями и поставщиками медицинских услуг для достижения лучших результатов для людей с наиболее сложными и дорогостоящими заболеваниями. Работая в различных областях медицины и первичной помощи, мы стремимся объединить разрозненные части системы здравоохранения и обеспечить людям тот же уровень ухода и сострадания, который мы хотели бы для наших близких.
Сотрудники Evolent наслаждаются балансом между работой и личной жизнью, гибкостью, позволяющей адаптировать работу к своей жизни, и автономией, необходимой для выполнения задач. Мы верим, что люди работают лучше всего, когда им предоставляется поддержка для полноценной жизни, и когда они чувствуют себя желанными, привнося в работу всю свою сущность. Это одна из причин, почему разнообразие и инклюзивность являются основой нашего бизнеса.
Присоединяйтесь к Evolent ради миссии. Оставайтесь ради культуры.
Чем вы будете заниматься:
Основные обязанности
- Отвечать за диагностический цикл для клинических сервисов на основе LLM: принимать сбои, выявленные клиническими рецензентами и менеджерами по продуктам, формулировать гипотезы первопричин (дизайн подсказок, сбор контекста, поиск, кодирование руководящих принципов, поведение модели, вышестоящие данные) и разрабатывать эксперименты, которые изолируют причину.
- Тестировать кандидатские исправления — варианты подсказок и конфигураций, изменения контекста, альтернативные модели — и проверять улучшения с помощью структурированных оценок, а не анекдотов; подтверждать, что исправления не вызывают регрессию в другом поведении.
- Отвечать за дорожную карту оценки и уровень качества сервисов ИИ команды: какие метрики определяют развертывание, как растут золотые наборы и тестовые наборы регрессии, и что означает «достаточно хорошо для выпуска» в доказательствах.
- Использовать и расширять платформу оценки команды: создавать золотые наборы и тестовые наборы регрессии, определять метрики (точность, соблюдение руководящих принципов, обоснованность/достоверность), запускать и интерпретировать батареи оценок. Важна свободное владение использованием современных инструментов оценки; платформа существует — ее продуманное расширение входит в задачи, а перестройка — нет.
- Сотрудничать с клиническими рецензентами (медицинскими директорами) для преобразования результатов обзора в маркированные доказательства и исполнимые критерии оценки; сотрудничать с менеджерами по продуктам для определения приоритетности наиболее значимых сбоев.
- Наставлять других в методах оценки и развивать функцию оценки по мере ее масштабирования, включая готовность брать на себя прямое руководство, когда команда расширится.
- Поддерживать ежегодный цикл обновления клинических рекомендаций с помощью регрессионной оценки по мере изменения рекомендаций, подсказок и моделей; пройти обучение вместе со старшими специалистами по данным команды в 4 квартале 2026 года.
- Документировать руководство по диагностике: таксономии сбоев, шаблоны экспериментов, историю вариантов — метод, которым могут пользоваться другие, а не частная интуиция. Это практическая роль — диагностический цикл является задачей на любом уровне старшинства.
- Обрабатывать клинические данные (включая PHI) в соответствии с требованиями организации по безопасности, конфиденциальности и соответствию.
Минимальные требования
- Степень бакалавра в области науки о данных, компьютерных наук, статистики или смежной количественной области — или эквивалентный опыт.
- 5+ лет опыта работы в области науки о данных или прикладного машинного обучения, включая выпуск и поддержку моделей или систем ИИ в производственной среде.
- 2+ года недавнего практического опыта оценки и улучшения систем на основе LLM: структурированный анализ ошибок, итерации подсказок/конфигураций, проектирование экспериментов, интерпретация метрик — в качестве практика, а не только рецензента чужой работы.
- Подтвержденный опыт работы с методами и инструментами оценки LLM — золотые/регрессионные наборы, LLM-as-a-judge с валидацией, инструменты трассировки и наблюдаемости.
- Сильные навыки работы с Python и уверенные навыки анализа данных (SQL — плюс); комфорт в вычислении и рассуждении о метриках, таких как чувствительность, специфичность и PPV.
- Рабочий стиль, основанный на гипотезах: инстинкт выделять переменные и доказывать исправление, а не подкручивать и надеяться.
- Отличные навыки письменного общения — выводы и свидетельства «идти/не идти» должны быть понятны инженерам, клиницистам и руководству.
Предпочтительные требования
- Опыт работы в сфере здравоохранения: управление использованием, предварительная авторизация, клиническая документация или клинические/страховые данные; комфорт в чтении клинических рекомендаций и медицинских политик.
- Опыт наставничества специалистов по данным или руководства небольшими техническими рабочими группами; интерес к развитию в области управления персоналом по мере масштабирования функции.
- Опыт работы с клиническими рецензентами или другими экспертами в предметной области для преобразования экспертных суждений в маркированные данные и критерии оценки.
- Опыт работы со стеками наблюдаемости/телеметрии LLM (трассировка на основе OpenTelemetry, Logfire, Langfuse или аналогичные).
- Опыт в статистике или экспериментах (A/B тестирование, статистическая значимость, расчет размера выборки).
- Степень магистра в количественной области.
Для обеспечения безопасного процесса найма мы внедрили несколько шагов верификации личности, включая предоставление удостоверения личности с фотографией, выданного государством. Мы проводим верификацию личности во время собеседований, и для финальных собеседований может потребоваться личное присутствие. Все кандидаты должны пройти комплексную проверку данных, личную верификацию формы I-9, и могут подвергнуться тестированию на наркотики до трудоустройства. Использование инструментов искусственного интеллекта во время собеседований запрещено и отслеживается. Предоставление ложной информации приведет к немедленному дисквалификации.
Технические требования:
Мы требуем, чтобы все сотрудники имели следующую техническую возможность у себя дома: высокоскоростной интернет более 10 Мбит/с и, особенно для всех сотрудников колл-центра, возможность прямого подключения к домашнему интернет-маршрутизатору.
Evolent является работодателем, предоставляющим равные возможности, и рассматривает всех квалифицированных кандидатов одинаково, независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, статуса ветерана или инвалидности. Если вам требуется разумное приспособление для доступа к информации, представленной на этом веб-сайте, пожалуйста, свяжитесь с контакт рекрутера для получения дополнительной помощи.
Ожидаемый диапазон базовой заработной платы/оплаты за эту должность составляет $135 000 - 165 000. В рамках нашего общего пакета вознаграждения Evolent гордится тем, что предлагает комплексные льготы (включая льготы по медицинскому страхованию) для соответствующих требованиям сотрудников. Все определения компенсации основаны на навыках и опыте, необходимых для данной должности, и соответствуют опыту выбранных кандидатов, который может отличаться выше и ниже указанных сумм.
