Senior QA Engineer, AI Agents & Agentic Workflows

QAD ищет Старшего инженера по обеспечению качества (Sr QA Engineer) для обеспечения непрерывной валидации и качества Champion Assist, многоагентного ИИ-продукта с примерно 20 развивающимися агентами. Вы будете тестировать самих агентов: их рассуждения, использование инструментов, оркестровку и передачу функций, а также качество их ответов. Это выходит за рамки проверок UI и API. Вы разработаете фреймворки оценки и регрессионные наборы, которые выявляют сбои, уникальные для недетерминированных систем на основе LLM. Обязанности: • Разрабатывать, выполнять и поддерживать комплексные бизнес-сценарии, которые охватывают многоэтапные рабочие процессы агентов, включая маршрутизацию агентов, вызовы инструментов/функций и многооборотные диалоги. • Оценивать выходные данные агентов на предмет правильности, релевантности, обоснованности, согласованности, тона и полноты, используя как человеческий обзор, так и автоматизированные методы. • Создавать и поддерживать наборы данных для оценки (золотые наборы, крайние случаи, состязательные запросы) и автоматизированные регрессионные наборы, которые запускаются при изменении агентов, запросов, моделей и инструментов. • Выявлять проблемы, связанные с взаимодействием между агентами, оркестровкой и интеграцией: неправильный выбор агента, сбои при передаче функций, сбои вызова инструментов, потеря контекста, зацикливание или неуправляемое поведение. • Тестировать на наличие галлюцинаций, инъекций запросов, обходов защиты, утечек данных и небезопасных или выходящих за рамки запросов ответов. • Выявлять регрессии, вызванные обновлениями моделей, изменениями запросов или изменениями в поиске/знаниях, и количественно оценивать их с помощью метрик. • Анализировать и определять первопричины проблем совместно с отделами разработки и продуктового менеджмента, разделяя причины, связанные с запросами, моделями, поиском, инструментами и оркестровкой. • Повторно тестировать исправления, проверять пользовательский опыт и поддерживать актуальность оценок по мере развития продукта. ​​​​​​​ • Четко документировать стратегию тестирования, результаты оценок и тенденции качества для глобальных заинтересованных сторон.

• Степень бакалавра в области разработки программного обеспечения, компьютерных наук или смежной области. • 3-5 лет опыта в обеспечении качества, из которых не менее 1-2 лет — тестирование приложений на основе LLM, ИИ-агентов или рабочих процессов агентов. • Практический опыт оценки недетерминированных выходных данных: определение критериев прохождения/непрохождения, критериев оценки и пороговых значений приемки для ответов ИИ. • Опыт создания или поддержки наборов для оценки ИИ или регрессионных наборов (например, LLM-as-judge, золотые наборы данных, критерии оценки). • Понимание концепций агентов: вызов инструментов/функций, оркестровка нескольких агентов, планирование, память/контекст, RAG. • Опыт работы с инструментами автоматизации тестирования (Selenium, Playwright, TestComplete или аналогичными) и тестированием API.

Ваше здоровье и благополучие важны для нас в QAD. Мы предоставляем программы, которые помогают вам найти здоровый баланс между работой и личной жизнью. Возможность присоединиться к растущему бизнесу, который выходит на следующий этап расширения и трансформации. Культура сотрудничества, состоящая из умных и трудолюбивых людей, которые поддерживают друг друга для выполнения поставленных задач. Атмосфера роста и возможностей, где обмен идеями всегда имеет приоритет над уровнем или иерархией. Компенсационные пакеты, основанные на опыте и желаемых навыках. О QAD: QAD | Redzone переосмысливает производственные и цепочки поставок с помощью своей интеллектуальной, адаптивной платформы, которая объединяет людей, процессы и данные в единую Систему Действий. Имея три основных столпа — Redzone (расширение прав и возможностей линейных сотрудников), Adaptive Applications (интеллектуальная основа) и Champion AI (агентский ИИ для производства) — QAD | Redzone помогает производителям работать с Champion Pace, достигая измеримой производительности, устойчивости и роста всего за 90 дней. QAD стремится обеспечить, чтобы каждый сотрудник чувствовал, что работает в среде, которая ценит его вклад, уважает его уникальные взгляды и предоставляет возможности для роста независимо от происхождения. Программа DEI (Разнообразие, Равенство, Инклюзивность) QAD способствует повышению уровня разнообразия, равенства и инклюзивности, чтобы сотрудники могли полностью раскрыть свой потенциал на работе. Мы являемся работодателем с равными возможностями и не дискриминируем ни одного сотрудника или соискателя на основании расы, цвета кожи, пола, возраста, национального происхождения, религии, сексуальной ориентации, гендерной идентичности, статуса ветерана, инвалидности или любой другой федеральной, государственной или местной защищенной категории.

QAD строит SaaS-компанию мирового класса, и мы растем. Мы ищем талантливых людей, которые хотят присоединиться к нам в нашей миссии по решению актуальных реальных проблем в производстве и цепочках поставок. Мы — виртуальная компания, и ваш основной опыт работы будет виртуальным / работой из дома. Периодические поездки в физический офис могут потребоваться для улучшения рабочих отношений, сотрудничества, проектирования, стратегии и согласования.