AI Agent QA Engineer (Data Testing and Labeling)

QA Engineers

63 – 120 USD/hr

Kokoc Tech

QA Engineer for AI Solutions

up to 1,400 RUB/hr

MoscowRemoteMiddle

KODIQ

2 months ago

AI Tester and Assistant

from 60,000 RUB/mo

Senior QA / AQA Engineer

from 190,000 RUB/mo

RussiaRemoteSenior

DBF

Middle QA Engineer

~561,000 – 778,000 KZT/mo

AlmatyRemoteMiddle

Icons8

Junior QA Engineer (Manual + AI Automation)

from 50,000 RUB/mo

RemoteJunior

Agentric Quality Engineer

~2,410 – 5,220 USD/mo

ArgentinaRemoteSenior

21 days ago

QA Engineer

~43,300 – 76,400 USD/yr

Prionex

4 days ago

QA Engineer (AI First, CRM)

2,500 – 3,500 USD/mo

Genesys

BudapestOnsiteHybridRemoteSenior

Sr Test Engineer

~19,500,000 – 23,300,000 HUF/yr

Gradient AI

Senior QA Data Engineer

130,000 – 150,000 USD/yr

RemoteSenior

9 days ago

Senior / Middle+ Fullstack QA (AI)

~2,450 – 4,320 USD/mo

RemoteMiddle

Альвента

AI Agent QA Engineer (Data Testing and Labeling)

25 days ago

80,000 – 120,000 RUB

per month

Details

Grade

Middle

Experience

3-6 years

Work format

Remote

Employment

Full-time

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

Alventa

Responsibilities

Build the agent's test model: call scenarios (recording, transfer, cancellation, consultation, service sale), states and transitions between them, boundary and edge cases
Write and maintain test cases and checklists, gather regression sets
Run scenarios: call the agent manually and run text-based tests. Check for interruptions, going off-topic, incomplete answers, noise, surnames, phone numbers, dates, and times
Account for LLM non-determinism: run cases multiple times, calculate the percentage of successful runs, distinguish stable bugs from random ones
Log bugs with clear classification: speech recognition error, incorrect scenario transition, incorrectly extracted data, hallucination, grammar, tone and style, speech synthesis
Analyze real call logs, identify recurring issues and turn them into test cases
Label and correct datasets for specific bugs: intents and fields, reference agent responses, "good / bad response" pairs for fine-tuning
Write evaluation criteria and instructions for automatic response verification using LLM (LLM-as-a-judge) and selectively check its evaluations
After each release or fine-tuning, check that old bugs are fixed and no new ones have appeared

Requirements

Work experience: 3–6 years

Commercial testing experience of 2+ years
Proficient in test design techniques: equivalence classes, boundary values, decision tables, state and transition diagrams, pairwise testing
Ability to write clear test cases, checklists, and bug reports; experience with TMS (TestRail, Qase, Allure TestOps or similar)
Understanding of QA processes: regression, smoke testing, bug prioritization, test coverage
Excellent Russian language proficiency: you can detect errors in agreement, unnatural phrasing, and bureaucratic language in speech
Attention to detail and patience for monotonous work with a large volume of dialogues and labeling
Confident work with spreadsheets and JSON: ability to read structured logs and data

Nice to have

Experience testing chatbots, voice assistants, or other LLM products
- Data labeling experience (Label Studio, Toloka, or similar) and understanding the importance of labeling consistency
- Basic Python: scripts for processing logs and datasets, pytest
- Understanding of how LLMs, prompts, and fine-tuning (SFT, DPO) work — at least conceptually
- API testing experience (Postman, Swagger)
- Interest in medicine or experience working with clinics

Benefits

from 80,000 to 120,000 ₽ per month, net Full-time employment Schedule: 5/2 Work format: remote

☑️ Чем предстоит заниматься

Строить тестовую модель агента: сценарии звонков (запись, перенос, отмена, консультация, продажа услуги), состояния и переходы между ними, граничные и нестандартные случаи
Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы
Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны. Проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время
Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных
Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи
Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы
Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения
Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки
После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые

☑️ Наши пожелания к кандидатам

Коммерческий опыт в тестировании от 2 лет
Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise
Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги)
Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие
Отличная грамотность в русском языке: ты слышишь ошибки в согласовании, неестественные обороты и «канцелярит» в речи
Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки
Уверенная работа с таблицами и JSON: умеешь читать структурированные логи и данные
Будет плюсом:
- Опыт тестирования чат-ботов, голосовых ассистентов или других LLM-продуктов
- Опыт разметки данных (Label Studio, Толока или аналоги) и понимание, зачем нужна согласованность разметки
- Базовый Python: скрипты для обработки логов и датасетов, pytest
- Понимание, как работают LLM, промпты и дообучение (SFT, DPO) — хотя бы на уровне идей
- Опыт с API-тестированием (Postman, Swagger)
- Интерес к медицине или опыт работы с клиниками

Контакты:

Is this job a fit for you?

We compare skills, grade, work format and salary

Key skills

test design
Equivalence partitioning
Boundary value analysis
Decision tables
State transition testing
Pairwise testing
TestRail
Qase.io
Allure TestOps
Regression testing
JSON
Label Studio
Python
Pytest
LLM
Prompt Engineering
SFT
DPO
Postman
Swagger

Salary estimate

1,640USDper month

Most often 1,430 to 2,210

Similar jobs

micro1

QA Engineers

63 – 120 USD/hr

Kokoc Tech

QA Engineer for AI Solutions

up to 1,400 RUB/hr

MoscowRemoteMiddle

KODIQ

2 months ago

AI Tester and Assistant

from 60,000 RUB/mo

Senior QA / AQA Engineer

from 190,000 RUB/mo

RussiaRemoteSenior

DBF

Middle QA Engineer

~561,000 – 778,000 KZT/mo

AlmatyRemoteMiddle

Icons8

Junior QA Engineer (Manual + AI Automation)

from 50,000 RUB/mo

RemoteJunior

Agentric Quality Engineer

~2,410 – 5,220 USD/mo

ArgentinaRemoteSenior

21 days ago

QA Engineer

~43,300 – 76,400 USD/yr

Prionex

4 days ago

QA Engineer (AI First, CRM)

2,500 – 3,500 USD/mo

Genesys

BudapestOnsiteHybridRemoteSenior

Sr Test Engineer

~19,500,000 – 23,300,000 HUF/yr

Gradient AI