Название: Senior QA Automation Engineer - SIP/VOIP Компания: IDT Corporation Местоположение: Богота / Мексика / Сан-Хосе / Панама / Монтевидео / Асунсьон / Лима / Сантьяго / Сукре / Кито / удаленно

Мы ищем опытного старшего QA-инженера, который будет отвечать за качество нашего голосового виртуального агента с использованием ИИ. Эта роль подходит для того, кто одинаково уверенно разбирается в поведении большой языковой модели и читает SIP-трассировку. Вы должны быть заинтересованы в тестировании недетерминированных систем. Голосовой агент принимает звонок, транскрибирует речь, которая может быть акцентированной или зашумленной, интерпретирует намерение, обрабатывает LLM, генерирует голосовой ответ и решает, следует ли удовлетворить запрос или передать его человеку — и все это в рамках бюджета задержки, который заметят звонящие. Ничто в этой цепочке не может быть проверено простым утверждением равенства, поэтому вам предстоит разработать подход к оценке, который сделает ее тестируемой. Вы также должны быть заинтересованы в базовой телефонии. Тестирование этого агента означает совершение реальных звонков: предоставление SIP-конечных точек и софтфонов, программное управление звонками, контроль условий медиапотока и различение сбоя модели от проблем с кодеком, джиттером или маршрутизацией вызовов.

ПОЖАЛУЙСТА, ОТПРАВЬТЕ CV НА АНГЛИЙСКОМ ЯЗЫКЕ. ПРИНИМАЮТСЯ ТОЛЬКО КАНДИДАТЫ ИЗ ЛАТИНСКОЙ АМЕРИКИ. ТРЕБУЕТСЯ СВОБОДНОЕ ВЛАДЕНИЕ АНГЛИЙСКИМ ЯЗЫКОМ.

Обязанности

• Полная интеграция в Scrum-команду, участие во всех церемониях и ведение соответствующей документации.
• Ответственность за сквозную стратегию тестирования голосового виртуального агента с ИИ на уровнях LLM, речи и телефонии.
• Разработка тестовых сценариев для сложного диалогового поведения, включая многоходовые диалоги, прерывания и вмешательство, неоднозначный или неполный ввод, запросы вне области действия, эскалацию/перевод на человека и восстановление после сбоев.
• Создание и поддержка фреймворка оценки недетерминированного вывода, использование эталонных наборов данных, семантических/рубрических утверждений и автоматического обнаружения регрессий при изменениях промпта, модели или извлечения данных.
• Тестирование агента на устойчивость к галлюцинациям, неправильному обоснованию, обходу защитных механизмов, инъекциям промптов и несанкционированному раскрытию данных клиента.
• Подготовка и обеспечение SIP-устройств, конечных точек и сценариев вызовов для автоматизации исходящих вызовов от начала до конца.
• Диагностика сбоев по всему стеку, выделение проблем на уровне LLM, ASR (распознавание речи), TTS (синтез речи), медиапотока или маршрутизации вызовов.
• Расширение автоматического покрытия и интеграция тестовых пакетов в конвейер CI/CD для выполнения функций релизных ворот.
• Определение и отслеживание основных метрик качества, включая завершение задач, уровень удержания, точность намерений, точность транскрипции, задержку ответа и правильность эскалации.
• Поддержание документированного тестового покрытия в TMS с полной прослеживаемостью бизнес-требований.
• Коммуникация и эскалация рисков качества заинтересованным сторонам, подкрепленная данными и доказательствами.

Требования:

• 5+ лет опыта в QA, с недавней практической ответственностью за сложный, интегрированный продукт.
• Практический опыт тестирования SIP/VoIP-систем, включая потоки вызовов, SIP-сигнализацию, обработку медиа, софтфоны или SIP-транкинг, с возможностью устранения неполадок с помощью SIP-трассировок или захвата пакетов.
• Продемонстрированная креативность в дизайне тестов (разработка реальных сценариев будет основной частью собеседования и будет иметь большой вес).
• Владение Python на уровне, достаточном для самостоятельного создания и поддержки фреймворков автоматизации.
• Опыт тестирования недетерминированных или вероятностных систем с четким подходом к разработке утверждений для переменных результатов.
• Сильные аналитические навыки, включая способность определять метрики качества, обосновывать их расчет и использовать данные для принятия решений о выпуске.
• Практический опыт работы с формальными инструментами TMS и Jira.
• Профессиональное владение английским языком (устно и письменно) с надежным пересечением с рабочим временем Восточного побережья США.

Мы используем следующие технологии:

• Python с pytest для автоматизации тестирования.
• Playwright для управления браузером и вызовами на основе WebRTC.
• JsSIP / WebRTC для программного инициирования вызовов и управления медиапотоком.
• SIP-софтфоны и устройства для ручного и исследовательского тестирования.
• Allure TestOps в качестве нашего TMS, связывающего автоматизированные запуски с документированными тестовыми случаями.
• Jira для управления проектами и отслеживания ошибок.
• Jenkins & GitHub Actions для конвейеров CI/CD.
• Grafana для метрик качества и доставки.
• API LLM и инструменты оценки — в настоящее время активно разрабатываются, и мы открыты для любого эффективного подхода.

Плюсы:

• Прямой опыт тестирования продуктов на основе LLM или разговорного ИИ, включая фреймворки оценки и подходы «LLM как судья».
• Знакомство с технологиями речи, включая измерение точности ASR/транскрипции (WER), оценку качества TTS, определение конечных точек и обнаружение тишины.
• Опыт работы с RAG или системами, основанными на извлечении информации, особенно в оценке правильности извлечения и контекста.
• Опыт тестирования WebRTC и медиауровня, включая поведение кодеков и снижение производительности при джиттере или потере пакетов.
• Опыт тестирования IVR, контакт-центров или платформ разговорного IVR.
• Возможности многоязычного тестирования, с акцентом на переключение между испанским/английским.
• Грамотность в области разработки промптов, достаточная для анализа системных промптов и выявления потенциальных режимов сбоя.

Мы рады предложить:

• Возможность удаленной работы!
• B2B-трудоустройство ($, gross).
• Стабильная работа с перспективами долгосрочного роста.
• Конкурентная заработная плата с ежегодным пересмотром результатов.
• Действительно хорошее оборудование.
• Увлекательная и сложная работа с талантливыми людьми вокруг.
• Возможности для непрерывного обучения и карьерного роста.
• Компенсация профессионального обучения, семинаров и конференций.
• Реферальная программа: получайте вознаграждение за помощь в развитии команды талантливыми людьми.
• Поддерживаемые компанией курсы английского языка для повышения вашего профессионального роста.

Креативность — это основное требование к этой роли, а не желательное качество. Важные здесь дефекты находит тот, кто представляет себе клиента, который прерывает на полуслове, меняет язык на середине, дает неполный номер счета, отвечает на другой вопрос или намеренно пытается обойти ограничения агента. Разработка сценариев — это основной навык, который мы ищем.

Текущее состояние: у нас есть автоматизированное тестирование вызовов на базе JsSIP/WebRTC с Python и Playwright, а также растущий объем тестовых сценариев. Уровень оценки — как мы последовательно оцениваем ответы, выявляем регрессии при изменении промпта или модели и сообщаем метрики качества, на основе которых руководство может действовать — именно здесь эта роль окажет наибольшее влияние.

О нас:

IDT Technologies является частью IDT Corporation — американской телекоммуникационной компании, основанной в 1990 году со штаб-квартирой в Нью-Джерси. Это лидер отрасли в области предоплаченных коммуникационных и платежных услуг и один из крупнейших международных операторов голосовой связи в мире. Мы котируемся на NYSE, имеем более 1500 сотрудников в более чем 20 странах и доходы свыше 1,5 миллиарда долларов.

Net2Phone — глобальный провайдер унифицированных облачных коммуникационных решений. Он предлагает интегрированный пакет коммуникационных инструментов, включающий мощные средства для совместной работы, такие как голос, обмен сообщениями, чат и неограниченные внутренние и международные звонки в более чем 23 страны.

ПОЖАЛУЙСТА, ОТПРАВЬТЕ CV НА АНГЛИЙСКОМ ЯЗЫКЕ