AI Quality Engineering Team Lead

Название: Руководитель команды инжиниринга качества ИИ Местоположение: Польша - Варшава - ASEC

Местоположение: Польша - Варшава - ASEC Здравствуйте! Мы рады, что вы здесь! Мы нанимаем в наш центр совершенства услуг Aviva! Ознакомьтесь с нашим описанием вакансии — возможно, оно подойдет вам или одному из ваших друзей? Мы ищем руководителя команды инжиниринга качества ИИ, который поможет создать надежный, масштабируемый инжиниринг качества для решений GenAI и агентского ИИ в Aviva. Вы будете сочетать практическую оценку с руководством командой, помогая заинтересованным сторонам понять, точны ли, безопасны, надежны ли решения ИИ и готовы ли они к выпуску. Это роль для того, кто может связать бизнес-риски с наборами данных, поведением ИИ, метриками оценки и инженерными средствами контроля. Вы будете формировать повторно используемые практики качества, оспаривать слабые доказательства и направлять инженеров в подготовке четких, проверяемых результатов. Что вы будете делать? Руководство подходом инжиниринга качества для решений ИИ, от оценки рисков до выпуска и мониторинга. Оценка поведения многоходовых, RAG и агентских ИИ, включая обоснование, механизмы защиты и использование инструментов. Создание репрезентативных наборов данных и оценка их охвата, баланса, утечки, качества меток и актуальности. Оценка правильности, релевантности, галлюцинаций, безопасности, предвзятости, конфиденциальности и сдвига поведения. Исследование неожиданных результатов в данных, подсказках, моделях, поиске, интеграции, оркестровке и оценщиках. Создание повторно используемых компонентов оценки, конвейеров автоматического тестирования, шаблонов отчетности и генерации доказательств для нескольких продуктов ИИ. Сочетание методов тестирования и проверка автоматизированных оценщиков на основе суждений человека. Использование базовых уровней, ключевых метрик и регрессионных тестов на основе рисков для поддержки решений о выпуске. Интеграция оценки в CI/CD, наблюдаемость и инженерные рабочие процессы с отслеживаемостью по наборам данных, подсказкам, моделям и метрикам. Подготовка кратких, проверяемых результатов, объясняющих уверенность, неопределенность, влияние на клиента и остаточный риск. Партнерство с заинтересованными сторонами из отделов продуктов, инженерии, архитектуры, данных, рисков, соответствия требованиям и качества для влияния на решения по доставке и выпуску. Обучение и руководство инженерами по качеству ИИ, планирование работы команды, проверка результатов и создание совместной культуры конструктивной критики и обучения. Что мы ищем: Несколько лет соответствующего профессионального опыта в области инжиниринга качества, тестирования программного обеспечения, разработки программного обеспечения, науки о данных или смежной технической области. Практический опыт оценки приложений ИИ, больших языковых моделей, RAG или агентских приложений. Практические навыки Python и опыт работы с API, журналами, трассировками, структурированными наборами данных и SQL или аналогичным анализом. Способность разрабатывать повторяемые оценки и автоматизацию, а не только ручное тестирование или оценку поставщиков. Хорошее понимание выборок, пороговых значений, тенденций и недетерминированного поведения системы. Опыт автоматизированного тестирования, контроля версий, CI/CD и поддерживаемых инженерных практик. Способность преобразовывать технические результаты в доказательства, обеспечивающие качество принятия решений для бизнес-, рисковых и инженерных заинтересованных сторон. Опыт обучения или руководства инженерами в новой или неопределенной области. Сильные коммуникативные навыки и навыки влияния, с уверенностью оспаривать слабые доказательства. Приветствуется: Опыт руководства проектами, координации технических рабочих групп или управления людьми. Опыт работы с инструментами оценки или наблюдаемости ИИ, такими как DeepEval, Arize или аналогичными платформами. Опыт проектирования общих фреймворков, повторно используемых сервисов или возможностей платформы. Знание ответственного ИИ, рисков модели, средств контроля, конфиденциальности или требований к результатам для клиентов. Опыт работы в сфере финансовых услуг, страхования или другой регулируемой отрасли. Опыт работы с облачными системами ИИ, наблюдаемостью и поддержкой производства. В центре совершенства услуг Aviva мы предлагаем: Трудовой договор Бонус за производительность Частное медицинское страхование (ENEL-MED) Система льгот "Кафетерий" (например, карта MultiSport) Дополнительные родительские привилегии:

• отпуск по уходу за ребенком - 6 недель отпуска для второго родителя
• сокращенное рабочее время после отпуска по уходу за ребенком Групповое страхование, финансируемое работодателем План акций для сотрудников Дополнительный выходной в день рождения Оплачиваемый отпуск для волонтерства Дополнительный отпуск, накопленный за годы работы в компании (до 5 дней в год) Отпуск по благополучию - дополнительный двухнедельный оплачиваемый отпуск после 10 лет работы Консультации по психологической поддержке Доступ к платформам электронного обучения Внутренняя программа привлечения сотрудников Гибридная модель работы из Польши с несколькими днями в офисе в Варшаве в месяц Привлекательное расположение офиса в Варшаве - Gdański Business Center Дополнительные льготы для людей с ограниченными возможностями - Работа без барьеров Рабочая среда, способствующая разнообразию - Хартия разнообразия Видите ли вы себя в центре совершенства услуг Aviva? Обязательно подайте заявку! Aviva для всех! Мы второй год подряд занимаем 1-е место среди лучших работодателей Польши и являемся лучшим выбором для миллениалов по версии Great Place to Work®! Являясь подписантом Хартии разнообразия, Aviva применяет политику равного обращения и создает рабочую среду, дружелюбную к людям с ограниченными возможностями. Мы не требуем от кандидатов даты рождения, семейного положения и фотографий к резюме. Мы призываем всех лиц независимо от пола подавать заявки. Большинство наших сотрудников работают в режиме smart working, проводя также время в нашем офисе, сочетая преимущества гибкости со временем, проведенным с коллегами. Мы инклюзивны - мы приветствуем заявки от людей с разнообразным опытом и происхождением. Взволнованы, но не уверены, что соответствуете всем требованиям? Исследования показывают, что женщины, в частности, чувствуют себя так. Поэтому, независимо от пола, почему бы не подать заявку и не попробовать! Чтобы узнать больше о текущих вакансиях в Aviva, ознакомьтесь здесь.