Product Data Scientist — AI Evaluation & Quality

На этой междисциплинарной должности вы будете главным ответственным за безопасность, производительность и детерминированное поведение ИИ в непредсказуемых мультиагентных системах. Вы не будете заполнять стандартные таблицы ручного тестирования или работать в изоляции.

Что вы будете делать

• Разрабатывать фреймворки автоматизированной оценки: Проектировать, внедрять и поддерживать масштабируемые конвейеры оценки (Evals) для LLM и графов агентов с использованием современных инструментов, таких как LangSmith, DeepEval, Ragas или Opik.
• Курировать эталонные наборы данных: Сотрудничать с экспертами предметной области для создания, версионирования и очистки надежных эталонных наборов данных, синтетических профилей оценки и матриц тестирования крайних случаев, отражающих реальные бизнес-сценарии.
• Отвечать за отслеживание качества непредсказуемых систем: Определять, отслеживать и обеспечивать соблюдение KPI качества в многоагентных рабочих процессах, уделяя особое внимание точности вызова инструментов, безопасности распознавания намерений, форматированию структурированных выходных данных и точности извлечения контекста (RAG).
• Снижать и количественно оценивать системные риски: Руководить тщательным анализом сбоев и галлюцинаций в выходных данных продакшена. Внедрять структурированные паттерны LLM-as-Judge, метрики валидации и эвристики защиты, активно обеспечивая отсутствие предвзятости в профилях судей.
• Обеспечивать выполнение этапов оценки CI/CD: Напрямую сотрудничать с командами MLOps и Backend Engineering для интеграции этапов автоматизированного тестирования в наши конвейеры развертывания, проактивно предотвращая попадание регрессий или поведенческих отклонений в производственные среды выполнения.
• Оптимизировать задержку и затраты: Регулярно анализировать эффективность шаблонов промптов, структур few-shot и выбора моделей (например, GPT, Claude, LLaMA), чтобы обеспечить высокоточный баланс между пропускной способностью выполнения, задержкой менее секунды и затратами на вычисления платформы.

Кто вы

• Увлеченный автоматизацией специалист по данным: Вы обладаете сильными основами разработки программного обеспечения и практическим опытом программирования на Python, что позволяет вам легко создавать пользовательские процедуры оценки и запрашивать многопользовательские базы данных.
• Аналитически мыслящий специалист с фокусом на ИИ: Вы понимаете, что тестирование непредсказуемых LLM требует совершенно иного мышления, чем традиционное QA. Вы обладаете глубокой интуицией относительно поведения токенов, динамики поиска, нюансов промпт-инжиниринга и состояний сбоев.
• Радикально автономный и готовый к сотрудничеству: Вы не ждете статичных технических спецификаций. Вы самостоятельно координируете встречи с руководителями ИИ, инженерами backend и заинтересованными сторонами продукта для выявления и устранения уязвимостей системы.
• Строго ориентированный на качество: Вы обладаете низким эго, но поддерживаете высокие стандарты стабильности системы. Вы глубоко увлечены отделением рыночного ажиотажа от практических, измеримых производственных метрик.

Что вы получите взамен

• Окажите реальное влияние на продукт. Присоединяйтесь к нашей восходящей траектории и развивайтесь вместе с нами. Мы предоставляем ресурсы и возможности для непрерывного личного и профессионального развития, позволяя вам оказать реальное влияние на наш развивающийся продукт.
• Работайте в ЕС. Отправьтесь в это захватывающее путешествие вместе с нами и наслаждайтесь гибкостью в поездках и удаленной или гибридной работой по всей Европе.
• Станьте держателем опционов. Раскройте своего внутреннего предпринимателя и согласуйте свои стремления с нашими через нашу программу опционов. Эта захватывающая возможность доступна каждому члену команды, от младших специалистов до наших основателей.
• Получите неизменную поддержку и заботу. Finom поддерживает вас на каждом этапе, воплощая нашу приверженность вашему благополучию и успеху, отраженную в нашей современной, дружелюбной и экологически сознательной корпоративной культуре. Мы предлагаем постоянную поддержку и заботу, чтобы ваш опыт в Finom был успешным и полным.
• Программа Work & Swim. Погрузитесь в нашу эксклюзивную программу Work & Swim. Проведите один месяц в комфортной корпоративной квартире в очаровательном Кипре. Это идеальная возможность достичь идеального баланса между работой и личной жизнью, наслаждаясь захватывающими видами на Средиземное море.