Software Developer in Test (Python) – Senior
SOFTSWISS ищет Software Developer in Test к себе в команду. Мы ищем QA-специалиста, ориентированного на автоматизацию, с сильными навыками Python, который поможет создавать надежную автоматизацию тестирования, улучшать качество продукта и участвовать в оценке качества систем на основе AI и LLM.
Что вы будете делать
- Анализировать требования и определять подход к тестированию новых функций и изменений продукта
- Автоматизировать тест-кейсы с использованием существующего фреймворка на основе Python и PyTest
- Создавать конвейеры автоматизированной оценки качества для AI-систем с использованием метрик и подходов LLM-as-judge
- Тестировать MCP-серверы, схемы инструментов и поведение вызова инструментов, включая граничные случаи и недопустимые аргументы
- Оценивать агентные рабочие процессы, включая выбор инструментов, многошаговое рассуждение, обработку ошибок, восстановление после циклов и корректность состояния
- Поддерживать и улучшать фреймворк автоматизации тестирования и вносить вклад во внутренние инструменты тестирования, включая моки
- Готовить и поддерживать документацию по тестированию, включая чек-листы, тест-кейсы и отчеты о качестве
- Участвовать в проектировании тестов, оценках, тестировании релизов и оценке качества продукта
- Вносить вклад в CI/CD и улучшения QA-процессов
- Проектировать и поддерживать наборы для оценки и эталонные наборы данных для RAG и агентных потоков
- Проводить нагрузочное тестирование AI-систем, включая инъекции промптов, обходы ограничений (jailbreaks), неправильное использование инструментов и риски утечки данных
- Настраивать регрессионные проверки изменений в промптах, моделях, настройках извлечения и стратегиях сегментации (chunking)
- Отслеживать качество AI-систем вместе со стоимостью, задержкой и использованием токенов
- Использовать инструменты трассировки и наблюдаемости для отладки, измерения и улучшения поведения LLM-приложений
Требуемый опыт
- 5+ лет опыта в Quality Assurance, включая как ручное, так и автоматизированное тестирование
- Глубокое понимание принципов QA, проектирования тестов, покрытия тестами, пирамиды тестирования и SDLC
- Опыт работы с фреймворками автоматизации тестирования на основе Python, такими как PyTest, Behave или аналогичными
- Опыт работы с CI/CD и инструментами мониторинга или оповещения, такими как Datadog, ELK, Sentry или аналогичными
- Интерес к тестированию систем на основе AI/LLM. Практический опыт предпочтителен, но мы также открыты для кандидатов, которые могут быстро учиться и хотят расти в этой области
- Знакомство с RAG, оценкой LLM и метриками качества, такими как groundedness, faithfulness, answer relevance и retrieval quality
- Опыт или интерес к инструментам оценки AI, таким как RAGAS, DeepEval, promptfoo, LangSmith Eval, TruLens, Arize Phoenix или аналогичными
- Понимание того, как тестировать недетерминированные системы, где может не быть единственного правильного вывода
- Знакомство с LangChain, LangGraph, MCP, векторными базами данных, семантическим поиском или инструментами наблюдаемости LLM будет большим плюсом
- Хорошее знание английского языка (устного и письменного) (уровень B2 или выше)
Желательно
- Опыт нагрузочного, стресс- или производительного тестирования
- Опыт работы с Kubernetes
- Опыт работы с prompt engineering
- Опыт тестирования AI safety, responsible AI или guardrails
- Опыт курирования наборов данных для оценки, разметки данных или аннотирования
- Опыт тестирования аутентификации Keycloak или OIDC
Основные преимущества
- Частная медицинская страховка
- Спортивные бонусы
- Комплексная программа поддержки психического здоровья
- Бесплатные уроки английского языка (онлайн)
- Курсы местного языка
- Оплачиваемый отпуск
- Поддержка при отпуске по уходу за ребенком
- Вознаграждения по реферальной программе
- Повышение квалификации, внутренние тренинги и участие в профессиональных конференциях и корпоративных мероприятиях
