Название: Ведущий инженер по автоматизации тестирования AI QA – CX Agent
Компания: XM
Местоположение: Лимассол / Никосия / Афины / Салоники / Полностью удаленно – в других соответствующих странах / гибрид
Роль:
Мы ищем ведущего инженера по автоматизации тестирования AI QA, который займет ведущую техническую роль в области качества AI и автоматизации тестирования. Вы будете в основном работать с нашим CX Agent Suite на базе AWS Bedrock AgentCore, многоагентной системой поддержки клиентов, охватывающей маршрутизацию намерений, ответы на часто задаваемые вопросы, запросы о статусе депозитов и передачу клиенту оператору. Вы будете разрабатывать и создавать инструменты для оценки и QA, необходимые для надежной проверки AI-агентов, а также вносить вклад в технические стандарты и лучшие практики в области QA.
Это роль ведущего индивидуального контрибьютора (IC) с сильным техническим и стратегическим фокусом. Вы будете тесно сотрудничать с руководством QA, Data Science и Engineering для проектирования масштабируемых систем оценки AI, установления технических стандартов и развития нашей системы оценки AI. Наш текущий механизм оценки основан на DeepEval и развивается в сторону более широкой архитектуры оценки агентов. У вас будет возможность оценивать и прототипировать новые подходы к оркестрации агентов, включая Strands Agents, и участвовать в принятии архитектурных решений относительно их внедрения.
Основные обязанности на данной должности включают:
- Выступать в качестве основного технического специалиста по QA, создавая масштабируемые фреймворки, библиотеки и инструменты для AI/ML для CX Agent Suite и не только.
- Проектировать и создавать конвейеры оценки AI, которые оценивают многоагентные ответы CX Agent Suite (Intent Detector, FAQ Agent, Missing-Deposits Agent) по точности, релевантности, тону, частоте галлюцинаций, соответствию требованиям безопасности/защитным механизмам и выполнению задач — расширяя или заменяя текущий механизм оценки на базе DeepEval.
- Оценивать и прототипировать Strands Agents (или сопоставимые фреймворки оркестрации агентов) для создания самообучающихся, автономных QA-агентов и принимать решения о внедрении.
- Сотрудничать с QA, Data Science и Engineering для интеграции тестирования на основе AI в существующий конвейер GitLab CI/CD (dev → test → staging → prod), наряду с услугами, предоставляемыми Terraform, размещенными в EKS/AgentCore.
- Создавать отказоустойчивую и адаптивную автоматизацию, способную обнаруживать и реагировать на изменения в поведении агентов, конфигурации Bedrock Guardrails и логике маршрутизации.
- Разрабатывать аналитику качества на основе данных, включая анализ первопричин, тенденции качества и интеллектуальную приоритизацию тестов, используя существующие данные для наблюдаемости и оценки из OpenTelemetry, CloudWatch, X-Ray traces и автономных оценок LangFuse.
- Возглавлять исследования в области новых методологий тестирования AI и наставлять инженеров посредством обзоров кода, семинаров и архитектурного руководства.
Основные требования:
- Степень бакалавра/магистра в области компьютерных наук, AI или смежной дисциплины.
- Более 6 лет практического опыта в QA/автоматизации тестирования, с сильным опытом проектирования и поддержки фреймворков автоматизации.
- Более 1 года опыта применения AI/ML в тестировании программного обеспечения или улучшении процессов QA, с подтвержденным опытом внедрения решений AI/ML в производственные рабочие процессы.
- Отличное знание Python, опыт работы в технологических средах на базе Python/AWS; знание Java и/или TypeScript будет плюсом.
- Практический опыт работы с методами оценки LLM, включая LLM-as-a-judge, human-in-the-loop evaluation, RAG и паттерны оркестрации нескольких агентов.
- Практический опыт работы с DeepEval или сопоставимыми фреймворками оценки, а также знакомство с SDK для оркестрации агентов, такими как Strands Agents.
- Знание LLM-инструментов, векторных баз данных и MLOps-конвейеров.
- Опыт интеграции AI-инструментов в корпоративные CI/CD среды, в частности GitLab, и работа с контейнеризованными облачными средами, такими как Docker и Kubernetes/EKS.
- Отличные коммуникативные навыки, способность влиять на технические решения и продвигать инженерные стандарты в командах.
Следующее будет считаться преимуществом:
- Опыт работы с автономными AI-агентами или фреймворками оркестрации агентов для самообучающихся тестовых наборов.
- Опыт работы с инструментами наблюдаемости LLM, такими как LangFuse, LangSmith или Arize, особенно для измерения вероятностной и враждебной устойчивости.
- Знание AI-этики, справедливости и обнаружения предвзятости для проверки защитных механизмов и моделей.
- Опыт работы с gRPC, WebSockets и/или HTTP/2.
- Опыт работы с AWS Bedrock, а также знакомство с GCP Vertex AI и/или Azure AI.
Преимущества:
- Привлекательный компенсационный пакет.
- Интеллектуально стимулирующая рабочая среда.
- Непрерывное личное развитие и возможности международного обучения.
Опыт найма: Что вас ждет
- Давайте свяжемся – вводный чат с отделом подбора талантов.
- Глубокое погружение – первое собеседование с вашей будущей командой.
- Финальное общение – финальное собеседование.
Все заявки будут рассмотрены с соблюдением строгой конфиденциальности!
