We use cookies to run the site and count visits. "Got it" also allows session recording.
Aspirity Solution
7 months ago
from 20 USD
per hour
Grade
Middle
Experience
from 2 years
Work format
Remote
English level
B2, upper-intermediate
An email or a Telegram message to the recruiter
We are Aspirity Solution, a development studio with over 10 years of experience in creating web and mobile applications, no-code solutions, and intelligent AI agents for clients worldwide.
We are currently looking for a QA Engineer who will be responsible for the quality, stability, and predictability of AI agents and LLM systems.
Testing and evaluating the performance of AI agents (dialogue and cognitive systems)
Developing and conducting eval tests to verify the correctness, robustness, and stability of agent behavior
Preparing test cases and scenarios for functional and non-functional testing
Analyzing agent behavior with non-standard input data, identifying logical errors and problems in prompts
Closely interacting with developers and prompt engineers to improve models and test pipelines
Supporting and developing test automation and QA processes within the AI team
Maintaining technical documentation and describing best practices
QA experience (manual or automation) of 2+ years
Practical experience testing AI agents or chatbots
Understanding of AI agents, LLM systems, and prompt engineering principles
Experience with eval tools (OpenAI Evals, DeepEval, LangChain Evals, or equivalents)
Experience with automated testing (preferably for AI agents)
Proficient in Python for writing tests and utility scripts
Skills in working with Git and bug tracking systems
English language proficiency from B2 for working in an international team
Residency outside of RF and RB.
Willingness to work in the PT time zone: from 7:00 to 16:00 PT. (America time, Washington)
Experience with LangChain, vapi, Synthflow, or other AI agent creation tools
Experience analyzing LLM outputs based on quality metrics: accuracy, coherence, relevance
Understanding of CI/CD processes and basic monitoring tools
Participation in building test architecture for AI systems
Remote · outside RF and RB · conversational English__
Fully remote work format
Work in a strong team of developers, ML engineers, and AI specialists
Opportunity for professional growth in QA for LLM and AI agent systems
Payment based on qualification — from 20 USD/hour.
Remote · вне РФ и РБ · разговорный английский__
Мы — Aspirity Solution, студия разработки с более чем 10-летним опытом создания веб- и мобильных приложений, no-code решений и интеллектуальных AI-агентов для клиентов по всему миру.
Сейчас мы ищем QA Engineer, который будет отвечать за качество, устойчивость и предсказуемость поведения AI-агентов и LLM-систем.
Чем предстоит заниматься:
-Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
-Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
-Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.
-Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
-Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
-Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.
-Вести техническую документацию и описывать best practices.
Требования
-Опыт работы в QA (manual или automation) от 2 лет.
-Практический опыт тестирования AI-агентов или чат-ботов.
-Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
-Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
-Опыт автоматизированного тестирования (желательно — для AI-агентов).
-Уверенное владение Python на уровне написания тестов и утилитарных скритов.
-Навыки работы с Git и системами отслеживания ошибок.
-Английский язык от B2 для работы в международной команде.
-Проживание вне РФ и РБ.
-Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT. (Время Америки, Вашингтон)
Будет плюсом
-Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.
-Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.
-Понимание CI/CD-процессов и базовых инструментов мониторинга.
-Участие в построении тестовой архитектуры для AI-систем.
Мы предлагаем
-Полностью удалённый формат работы.
-Работу в сильной команде разработчиков, ML-инженеров и AI-специалистов.
-Возможность профессионально расти в QA для LLM- и AI-агентных систем.
-Оплату по квалификации —от 20 USD/час.
We compare skills, grade, work format and salary
Most often 1,500 to 2,630
