В MEDvidi мы масштабируем системы на базе ИИ в критически важных частях нашего продукта и операционной деятельности.
Поскольку эти системы становятся всё более автономными и глубоко интегрированными в рабочие процессы пользователей, понимание их поведения в производственной среде становится ключевой бизнес-задачей.
Мы нанимаем Аналитика продуктов, который поможет нам оценивать, контролировать и улучшать работу ИИ-агентов и рабочих процессов на основе LLM, работающих в масштабе.
Эта роль ориентирована на анализ реального поведения ИИ-систем в производственной среде:
- понимание влияния на продукт и операционную деятельность,
- выявление паттернов сбоев в задачах генерации,
- измерение качества и надежности выходных данных,
- помощь командам в принятии точных решений в условиях неопределенности.
Обязанности
- Анализ поведения в производственной среде ИИ-агентов, систем автоматизации и рабочих процессов на основе LLM,
- Исследование «галлюцинаций», несоответствий, режимов сбоев и деградации качества в автоматизированных пользовательских сценариях,
- Работа напрямую с логами, диалогами, необработанными выходными данными системы и операционными наборами данных для выявления скрытых закономерностей и действенных инсайтов,
- Разработка подходов к оценке и аналитических фреймворков для измерения качества и надежности ИИ-систем,
- Создание систем мониторинга и дашбордов для обеспечения видимости производительности ИИ,
- Выявление операционных и продуктовых рисков, связанных с автоматизацией,
- Измерение влияния ИИ-систем на бизнес-метрики, операционную эффективность и пользовательский опыт,
- Обнаружение проблем с качеством данных, сдвигов и аномалий, влияющих на производительность ИИ-систем,
- Тесное сотрудничество с командами Product, Engineering, QA и Operations по инициативам, связанным с ИИ,
- Поддержка быстрого принятия решений в быстро меняющихся и неопределенных средах.
Требования
- 3+ года опыта работы на аналитических позициях, связанных с ИИ-системами, ML-продуктами, платформами автоматизации или сложными производственными системами,
- Отличные навыки работы с Python для глубоких аналитических исследований и работы с большими объемами неструктурированных текстовых данных,
- Продвинутые навыки SQL,
- Понимание ограничений LLM, «галлюцинаций», проблем оценки, чувствительности к промптам, компромиссов моделей и режимов сбоев ИИ,
- Опыт построения систем мониторинга, аналитических фреймворков или операционных дашбордов для производственных систем,
- Способность работать с неполными, неопределенными и быстро меняющимися данными,
- Сильное чувство ответственности и способность самостоятельно проводить исследования и делать аналитические выводы,
- Способность связывать качество ИИ-систем с бизнес- и операционным влиянием,
- Свободное владение русским языком; уровень английского B2 или выше,
- Возможность работать в часы, пересекающиеся с CET.
Желательно
- Опыт работы с диалоговым ИИ или ИИ-агентами,
- Опыт оценки выходных данных LLM или качества аннотаций,
- Опыт работы с метриками качества ИИ и методологиями оценки,
- Опыт работы с инфраструктурой Langchain,
- Опыт работы с ML data pipelines или генерацией синтетических данных,
- Опыт в области обнаружения аномалий.
Что мы предлагаем
- Работа над современным ИИ-продуктом, где качество является стратегической функцией, а не формальностью
- Реальное влияние на направление развития продукта и инженерные практики
- Высокоэффективная работа в продуктовой компании в сфере медицинских технологий
- Среда стартапа: быстрая итерация, высокая ответственность, минимальная бюрократия
- Конкурентоспособная компенсация и возможности для роста
Льготы
- Медицинская страховка после испытательного срока
- Компенсация расходов на спорт и оздоровление
- Полностью удаленное, долгосрочное B2B сотрудничество
- 19 рабочих дней отпуска в год
- 3 дополнительных дня оздоровления в год
- Оплачиваемый больничный в первые 5 рабочих дней
- Подарки сотрудникам к важным событиям
- Развитие карьеры
- Индивидуальные уроки английского через Preply
