Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
DDigital Forms
9 месяцев назад
18 500 – 30 200 PLN
в месяц
Грейд
Lead
Формат работы
Удалённо
Тип занятости
Полная занятость
Уровень английского
C1, продвинутый
Письмо на почту или сообщение рекрутеру в Telegram
Мы ищем опытного Test Lead для разработки стратегии контроля качества и валидации для высокоэффективного решения в строго регулируемой отрасли, включающего компоненты на базе ИИ и интеграцию с Salesforce. В этой роли вы будете отвечать за определение и реализацию стратегии тестирования и валидации ИИ. Вы будете отвечать за определение того, как выходные данные решения проверяются на корректность, надежность и безопасность, устраняя разрыв между недавно разработанными компонентами ИИ-агентов и средой Salesforce клиента.
О проекте, кратко. Это новый проект или поддержка?
Это новый проект для клиента, с которым у нас уже установлено сотрудничество в рамках других проектов. Мы завершаем этап Discovery для этого проекта и переходим к этапу Delivery.
Мы разрабатываем движок проверки и автоматизации данных, который обрабатывает структурированные и неструктурированные входные данные с использованием сложной логической структуры. Система использует модели ИИ для интерпретации предоставленных пользователем данных, выявляя расхождения и недостающую информацию перед отображением результатов в структурированном выходном формате. Ключевые компоненты включают автоматизированный ввод, логику проверки на основе правил и интеграцию с существующей корпоративной архитектурой в строго регулируемой отрасли.
Стратегия и планирование:
Разработка QA-стратегии: Проектирование, планирование и разработка комплексной стратегии тестирования и валидации ИИ, охватывающей функциональное тестирование компонентов, сквозное тестирование (E2E), интеграционное тестирование, регрессионное тестирование и приемочное тестирование пользователями (UAT).
Учет нефункциональных требований (NFR) и соответствие стандартам (например, GDPR, HIPAA, HITRUST и т. д.).
Логика валидации ИИ: Определение планов валидации для компонентов ИИ, в частности, определение того, что представляет собой «корректный» вывод, установление пороговых значений успеха и разработка методов оценки (включая обработку галлюцинаций и правил обоснования).
Среда и данные: Создание подробных планов для тестовых сред (Dev/Test/Prod) и определение стратегии тестовых данных для обеспечения достаточного покрытия стандартных сценариев, крайних случаев и сбоев ввода.
Исполнение и отчетность:
Практическое тестирование: Выполнение функционального, регрессионного, исследовательского, нагрузочного тестирования и тестирования производительности.
Координация интеграции: Координация усилий по «совместной сквозной валидации», сотрудничество с командой клиента для управления тестированием интеграции с Salesforce.
Интеграция конвейера: Интеграция мероприятий по тестированию в конвейер CI/CD для непрерывного обеспечения качества.
Управление процессами: Управление структурами тестовых сценариев Jira в соответствии с пользовательскими историями и критериями приемки.
Метрики: Регулярная отчетность, отслеживание ключевых показателей QA, таких как соотношение дефектов.
Свободное владение английским языком.
QA Strategy: Опыт разработки сквозных стратегий тестирования для сложных решений.
End-to-End Testing: Опыт проектирования и выполнения сквозных тестов для сложных, интегрированных систем с использованием любых современных технологий тестирования.
AI/ML/LLM Testing Experience: Подтвержденный опыт валидации моделей ИИ.
Test Data Management: Опыт разработки стратегии и управления тестовыми данными в нескольких средах (Dev/Test/Prod).
Traceability mindset: Связывание требований → тестовых сценариев → доказательств → дефектов → решений о выпуске.
Опыт тестирования NFR: производительность, надежность, аудируемость, основы безопасности.
Глубокое понимание конфиденциальности и обработки конфиденциальных данных при тестировании (минимизация PII/PHI, маскирование/анонимизация).
Практический опыт автоматизации (как минимум один сильный стек): например, Python/Java/JS + фреймворки (pytest/JUnit/etc.).
QA Metrics: Способность отслеживать и отчитываться по конкретным показателям QA, таким как соотношение дефектов.
Хорошие коммуникативные навыки (письменные и устные).
Уверенное владение Jira.
Полная занятость, с перекрытием по времени с 14:00 до 18:00 — для обеспечения бесперебойного сотрудничества с клиентом из США.
Знакомство с платформой AWS.
Сертификаты ISTQB или аналогичные.
Предыдущий опыт работы в динамичных консалтинговых или клиентских проектах.
We are looking for an experienced Test Lead to drive the Quality and Validation strategy for a high-impact solution, in a highly regulated industry, involving AI components and Salesforce integration. In this role, you will own both definition and delivery of the Testing & AI Validation Strategy. You will be responsible for defining how solution outputs are verified for correctness, reliability, and safe operation, bridging the gap between newly developed AI Agents components and the client’s Salesforce environment.
What you’ll do
Strategy & Planning:
Own the QA Strategy: Design, plan and dDevelop the comprehensive Testing and AI Validation Strategy, covering FunctionalUnit, E2E, Integration, Regression, and User Acceptance Testing (UAT).
Address NFR and align against standards (e.g. GDPR, HIPAA, HITRUST, etc.)
AI Validation Logic: Define validation plans for AI components, specifically determining what constitutes "correct" output, setting success thresholds, and establishing evaluation methods (including handling hallucinations and grounding rules).
Environment & Data: Create detailed plans for Test Environments (Dev/Test/Prod) and define the Test Data Strategy to ensure sufficient coverage for standard scenarios, edge cases, and ingestion failures.
Execution & Reporting:
Hands-on Testing: Execute functional, regression, exploratory, performance, and load tests.
Integration Coordination: Coordinate "Joint End-to-End Validation" efforts, collaborating with the client team to manage testing of Salesforce integration
Pipeline Integration: Integrate testing activities into the CI/CD pipeline for continuous quality assurance
Process Management: Manage Jira test case structures aligned to user stories and acceptance criteria
Metrics: Provide regular reporting, tracking key QA metrics such as defect ratios
About the project, in short. Is it a new project or maintenance?
This is a new project for a client that we have already established collaboration with during other projects. We are finalizing the Discovery Phase for this project and moving into Delivery.
We are developing a data validation and automation engine that processes structured and unstructured inputs against a complex logic framework. The system utilizes AI models to interpret user-submitted data, identifying discrepancies and missing information before mapping the results to a structured output format. Key components include automated ingestion, rule-based validation logic, and integration with existing enterprise architecture in a highly regulated industry.
Technical Requirements (must-have):
Fluent English
QA Strategy: Experience defining end-to-end testing strategies for complex solutions
End-to-End Testing: Experience in designing and executing E2E tests for complex, integrated systems using any modern testing technology
AI/ML/LLM Testing Experience: Proven ability to validate AI models
Test Data Management: Experience strategizing and managing test data across multiple environments (Dev/Test/Prod)
Traceability mindset: linking requirements → test cases → evidence → defects → release decisions.
Experience testing NFRs: performance, reliability, auditability, security basics.
Strong understanding of privacy and sensitive data handling in testing (PII/PHI minimization, masking/anonymization)
Hands-on automation experience (at least one strong stack): e.g., Python/Java/JS + frameworks (pytest/JUnit/etc.)
QA Metrics: Ability to track and report on specific QA metrics, such as defect ratios
Good communication skills (written and verbal)
Jira Proficiency
Full time availability, with overlap during 14:00-18:00 - to ensure seamless collaboration with USA based client
Additional Requirements (nice-to-have):
Familiar with AWS platform
ISTQB or similar certifications
Previous experience in fast-paced consulting or client-facing projects
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 55 700 до 90 800
