AI Quality & Evaluation Lead

О Samsung Food (Whisk)

В Samsung Food (возможно, вы знаете нас как Whisk) мы являемся пионерами в области повседневного ухода и здоровья — помогаем людям и семьям по всему миру жить лучше благодаря связанным, проактивным и персонализированным возможностям. Наша миссия — объединить еду, здоровье и дом в экосистеме Samsung, превращая данные с ваших устройств в персонализированные рекомендации, которые поддерживают вас и ваших близких.

Мы работаем на стыке ИИ, питания, изменения поведения и цифрового здравоохранения. Приложение Samsung Food было включено в список лучших повседневных приложений Google Play за 2020 год, регулярно упоминалось в App Store от Apple и было номинировано на премию Webby Award в 2021 году. Мы также запустили Vision AI, который распознает продукты и блюда, используя наш глобальный Food Genome, и разработали глубокую интеграцию с Samsung Health и SmartThings.

Мы — удаленная команда из более чем 100 человек из более чем 30 стран, объединенных нашей приверженностью инновациям и влиянию. Будучи частью Samsung Electronics, мы сочетаем гибкость стартапа с масштабом крупнейшей в мире компании по производству потребительской электроники. Присоединяйтесь к нам и помогите создать технологии, которые улучшат повседневную жизнь десятков миллионов людей с помощью телефонов, носимых устройств, телевизоров и кухонной техники в ближайшие годы.

Узнайте больше о том, как мы сформировали высокоэффективную глобальную команду за последние 14 лет.

Обзор

Обзор

Мы создаем опыт ИИ-коучинга внутри Samsung Health. Каждая часть коучинга, которую видит пользователь, генерируется, а не пишется. Наш партнер по платформе отвечает за среду оценки и функциональные оценки (выполнился ли конвейер, успешно ли вызван инструмент). Никто не отвечает за уровень выше этого: действительно ли вывод хорош — правильное изложение, правильный тон, правильная структура, доставляет ли он коучинговую логику, чувствуется ли, что он говорит со мной.

Эта работа существует для создания этого уровня: составление таксономии сбоев, кодирование ее в двоичную систему оценок, проверка LLM-судьи на основе ваших собственных человеческих оценок и передача всего этого внутреннему владельцу. У нас есть v0.1 система оценок и золотые сценарии от нашего продакт-лида, а также функциональная система оценок, которой владеет инженерный отдел. У нас нет системы оценок опыта — именно это и создает данная работа.

Результаты по этапам (Общий проект ~13 недель)

1. Таксономия сбоев и золотой набор (в течение 4 недель с даты начала контракта)

Не менее 150 трассировок, оцененных вручную с открытыми текстовыми заметками. Не менее 40 из них получены из синтетических профилей с разреженными данными. Таксономия имеет 5–10 категорий, каждая с подсчетом частоты, и показаны три наиболее частых сбоя с их долей от всех сбоев. Насыщение подтверждено: последние 20 трассировок не дали новой категории. Не менее 50 трассировок заморожены как отложенные. Руководитель отдела продукта подписывает таксономию.

2. Система оценок v1 и калибровка (в течение 4 недель после завершения этапа 1)

Один двоичный критерий прохода/неудачи для каждой категории таксономии, каждый с определением, примером прохода и примером неудачи. Руководство по письменной аннотации. Не менее 30 трассировок оцениваются двойным кодированием вторым оценщиком, и каждое расхождение фиксируется и разрешается в письменной форме. Журнал ревизий руководства регистрирует каждое изменение и его причину. Руководитель отдела продукта подписывает систему оценок.

3. Проверенный судья и еженедельные отчеты (в течение 4 недель после завершения этапа 2)

Запросы для судьи по каждому критерию. Отчет о валидации, дающий частоту истинно положительных и истинно отрицательных результатов для каждого критерия как на наборе разработки, так и на отложенном наборе. Еженедельный отчет о полезности, релевантности и тоне, проводимый как минимум дважды: один раз консультантом, а другой раз — внутренним владельцем с участием консультанта. Документированная процедура повторной валидации, запускаемая при каждом изменении модели или запроса и проводимая ежеквартально независимо.

4. Руководство и тест на передачу (в течение 1 недели после завершения этапа 3)

Письменное руководство, охватывающее весь метод: оценка, обновление таксономии, пересмотр системы оценок, повторная валидация судьи и проведение отчетов. Тест на передачу считается пройденным, когда внутренний владелец повторно запускает валидацию судьи самостоятельно и получает результат с погрешностью ±5 пунктов, а также проводит один еженедельный отчет без участия консультанта.

Чем эта роль НЕ является

• Не создание инфраструктуры оценки, инструментов или панелей мониторинга (это входит в обязанности других)

• Не функциональные/модульные оценки или метрики точности

• Не проверка клинической безопасности

• Не масштабная аннотация — оценка нескольких сотен трассировок для создания таксономии; объемная работа передается поставщикам/судье после создания системы оценок

Что мы ищем

Вы уже прошли этот цикл от начала до конца как минимум один раз на основе диалоговых или сгенерированных текстовых выводов: анализ ошибок на реальных трассировках → таксономия сбоев, созданная вами самостоятельно → двоичные критерии и руководство по аннотации → LLM-судья, проверенный на основе ваших собственных меток.

Опыт: разработка диалогов, качество ИИ-продуктов, поведение/политика модели, дизайн контента, операции с человеческими данными, UX-исследования с сильным качественным кодированием или RLHF. Подходят также специалисты с опытом в прикладной лингвистике и управлении продуктами.

Вы будете сильны в этой роли, если:

• Можете описать режим сбоя, который вы лично обнаружили, прочитав вывод — тот, который никто не назвал до вас

• Комфортно чувствуете себя в роли арбитра и документируете, что вы отклонили и почему

• Понимаете, что система оценок открывается в процессе оценки, а не пишется заранее

• Можете объяснить, почему судья, который соглашается с вами в 94% случаев, все равно может быть бесполезен

• Пишете руководство по аннотации, которое не требует интерпретации

• Комфортно работаете в блокнотах и электронных таблицах (производственный код не требуется)

Не требуется

Не требуется: экспертиза в области питания, контроля веса или изменения поведения — у нас есть специалисты в этой области.