AI Quality Engineer

Название: AI Quality Engineer Местоположение: Польша - Варшава - ASEC

Местоположение: Польша - Варшава - ASEC Привет, мы рады, что вы здесь! Мы нанимаем в наш Центр превосходства услуг Aviva (Aviva Services Excellence Centre)! Ознакомьтесь с нашим описанием вакансии — возможно, оно подойдет вам или кому-то из ваших друзей? Мы ищем AI Quality Engineer, который присоединится к Центру превосходства услуг Aviva (Aviva Services Excellence Centre, ASEC) и поможет укрепить уверенность в качестве, безопасности и надежности продуктов на базе ИИ. Это практическая роль для тех, кто любит понимать, как ведут себя системы ИИ, выявлять слабые места до того, как они станут проблемами для клиентов, и создавать надежные способы измерения того, действительно ли решения ИИ достигают поставленных целей. Вы будете работать с разговорным ИИ, автономными агентами и другими системами на базе ИИ, тесно сотрудничая с инженерами, продуктовыми командами и заинтересованными сторонами бизнеса, чтобы гарантировать, что решения являются надежными, заслуживающими доверия и готовы к использованию в производственной среде. Чем вы будете заниматься? Перевод бизнес-ожиданий, результатов работы пользователей и операционных рисков в измеримые критерии оценки. Определение того, как выглядит успешное, частично успешное и неуспешное поведение системы, включая градиент между явным успехом и явным провалом. Разработка подходов к оценке для разговорных, многошаговых и недетерминированных систем ИИ. Создание и поддержка репрезентативных наборов данных для оценки, охватывающих распространенные, редкие, пограничные и высокорисковые сценарии. Оценка качества наборов данных, включая охват, сбалансированность классов, дубликаты, утечку данных, качество меток, различия между синтетическими и производственными данными, а также актуальность наборов данных. Выбор соответствующих методов ручной, детерминированной, основанной на моделях и статистической оценки. Анализ ошибок по категориям, пути пользователя, уровню риска и вероятной первопричине. Различение сбоев модели от сбоев в извлечении (retrieval), группировке (chunking), ранжировании (ranking), подсказках (prompts), инструментах (tools), защитных механизмах (guardrails), интеграциях, исходных данных и оценщиках. Валидация автоматизированных оценщиков, включая LLM-as-a-Judge, на соответствие суждениям человека. Обнаружение «слепых зон», шумов, смещений и вводящих в заблуждение агрегаций в результатах оценки. Создание базовых линий, контролируемых сравнений и регрессионных тестов, которые позволяют проводить значимое сравнение между версиями системы. Приоритизация тестов в соответствии с вероятностью и влиянием сбоя, а не только с охватом. Сообщение результатов, неопределенности, ограничений и остаточных рисков в форме, поддерживающей принятие решений о выпуске и продукте. Проактивное выявление возникающих режимов сбоев на основе изменений системы, наблюдений в производственной среде и исследований. Что мы ищем: Профессиональный опыт в области обеспечения качества, тестирования программного обеспечения, автоматизации тестирования, науки о данных, разработки программного обеспечения или смежной области (мы можем рассмотреть разные уровни старшинства). Опыт или сильный интерес к работе с решениями на базе ИИ, будь то их разработка, тестирование, оценка или поддержка. Хорошее владение Python и опыт написания чистого, поддерживаемого кода для анализа, автоматизации или целей тестирования. Интерес к пониманию того, как ведут себя системы ИИ, насколько они надежны и как можно измерить их качество. Сильные аналитические навыки и навыки решения проблем, способность расследовать проблемы и выявлять первопричины. Способность переводить бизнес-цели, результаты работы клиентов и риски в практические подходы к оценке. Отличные коммуникативные навыки и способность объяснять выводы как техническим, так и нетехническим заинтересованным сторонам. Любознательный, проактивный склад ума и искренний интерес к ИИ, новым технологиям и надежности систем. Приветствуется: Опыт оценки, тестирования или мониторинга систем на базе ИИ в производственных средах. Работа со структурированными данными, особенно с JSON, логами и табличными результатами оценки. Понимание поведения LLM, токенизации, ограничений контекста, параметров и недетерминизма. Понимание многошагового контекста, RAG, привязки к источнику (grounding), верности (faithfulness), галлюцинаций (hallucinations), защитных механизмов (guardrails), атак (таких как prompt injection и т. д.) и вызова инструментов/функций (tool/function calling). Практики разработки программного обеспечения: Git, модульный код, управление конфигурацией и автоматизированные тесты. В Центре превосходства услуг Aviva мы предлагаем: Трудовой договор Бонус за производительность Частная медицинская страховка (ENEL-MED) Система льгот "Кафетерий" (например, карта MultiSport) Дополнительные льготы для родителей:

• отпуск по уходу за ребенком для второго родителя – 6 недель
• сокращенное рабочее время после отпуска по уходу за ребенком Групповое страхование, финансируемое работодателем План акций для сотрудников (Employee Shares Plan) Дополнительный выходной в день рождения Оплачиваемый отпуск для волонтерства Дополнительные дни отпуска, накопленные за годы работы в компании (до 5 дополнительных дней в год) Отпуск по благополучию (Wellbeing Leave) — дополнительные две недели оплачиваемого отпуска после 10 лет стажа Консультации по психологической поддержке Доступ к платформам электронного обучения Программа внутреннего реферального найма сотрудников Гибридная модель работы из Польши с несколькими днями в месяц в офисе в Варшаве Привлекательное расположение офиса в Варшаве — Gdański Business Center Дополнительные возможности для людей с ограниченными возможностями — Work Without Barriers Рабочая среда, способствующая разнообразию — Diversity Charter Видите ли вы себя в Центре превосходства услуг Aviva? Обязательно подайте заявку!

Aviva для всех! Мы второй год подряд занимаем 1-е место в рейтинге «Лучшие работодатели Польши» и являемся предпочтительным выбором для миллениалов по версии Great Place to Work®! Являясь подписантом Хартии разнообразия (Diversity Charter), Aviva применяет политику равного обращения и создает рабочую среду, дружелюбную к людям с ограниченными возможностями. Мы не требуем от кандидатов дату рождения, семейное положение и фотографии в резюме. Мы приглашаем всех желающих, независимо от пола, подавать заявки. Большинство наших сотрудников работают в гибридном режиме, проводя часть времени в нашем офисе, сочетая преимущества гибкости с возможностью проводить время вместе с коллегами. Мы инклюзивны — мы приветствуем заявки от людей с разнообразным опытом и из разных слоев общества. Вдохновлены, но не уверены, что соответствуете всем требованиям? Исследования показывают, что особенно женщины так себя чувствуют. Поэтому, независимо от пола, почему бы не подать заявку и попробовать! Чтобы узнать больше о текущих вакансиях в Aviva, загляните сюда.