Senior Software Development Engineer in Test (SDET), QA - AI Systems

О NEXXA

Nexxa создает лучшие в своем классе системы искусственного интеллекта для тяжелой промышленности, позволяя машинам, системам и операциям автономно мыслить, принимать решения и действовать в производственных, крупномасштабных инфраструктурных, логистических и унаследованных средах.

Наша миссия — воплощать глубокие технические прорывы в операционную реальность, решая одни из самых сложных системных проблем в отрасли.

ОБЗОР РОЛИ

Мы ищем старшего/ведущего SDET, который будет отвечать за качество систем агентов Nexxa на базе ИИ, сочетая глубокую автоматизацию тестирования с практическим ручным и исследовательским тестированием. Наши агенты автономно планируют, вызывают инструменты и выполняют многошаговые действия в промышленных средах. Вы будете писать код производственного уровня для создания средств оценки, симуляционных сред и автоматизированных шлюзов качества CI/CD, а также будете работать непосредственно с агентами: исследуя поведение, просматривая трассировки и проверяя релизы, когда автоматизация сама по себе не может определить, правильно ли поступил агент.

Вы будете тесно сотрудничать с инженерами по машинному обучению, инженерами серверной части и инженерами по развертыванию (Forward Deployed Engineers), чтобы определить, что такое «хорошо» для агента, работающего в условиях высокой ответственности в промышленных условиях, а затем создавать и запускать системы и процессы, которые постоянно измеряют это.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ

Автоматизация и инфраструктура

• Разрабатывать, создавать и поддерживать фреймворки тестирования, средства оценки и регрессионные наборы для агентов на базе LLM, охватывающие качество рассуждений, правильность вызова инструментов, завершение задач и согласованность многоходовых диалогов.

• Создавать автоматизированные конвейеры, которые запускают оценки и наборы тестов при каждом изменении модели, промпта или интеграции инструментов, и интегрировать их в CI/CD в качестве принудительных шлюзов качества.

• Разрабатывать симуляторы, заглушки и изолированные среды для промышленных систем и API инструментов, чтобы агенты могли тестироваться безопасно, повторяемо и в масштабе.

• Реализовать API, контрактные, интеграционные и сквозные тесты для сервисов, инструментов и уровней оркестровки, от которых зависят агенты.

• Разрабатывать тесты производительности, нагрузки и надежности для рабочих процессов агентов, включая внедрение сбоев и тестирование на отказоустойчивость.

Ручное и исследовательское тестирование

• Проводить практическое исследовательское тестирование поведения агента, включая новые возможности, неоднозначные или недостаточно специфицированные запросы, длинные многоходовые сессии и необычные операционные сценарии, которые не могут предвидеть скриптовые тесты.

• Вручную просматривать трассировки и выходные данные агента, чтобы оценить качество рассуждений, уместность действий и безопасность, а также использовать эти результаты для улучшения автоматизированных проверок.

• Выполнять ручные регрессионные проверки и проверки релизов в промежуточных и похожих на клиентские средах перед выпуском новых возможностей агента.

• Проводить сессии ручного «красного командования» (внедрение промптов, обход ограничений, злоупотребление инструментами, небезопасные действия) в партнерстве с командами безопасности, а затем преобразовывать успешные атаки в автоматизированные тестовые случаи.

• Поддерживать пользовательское приемочное тестирование и пилотные развертывания с инженерами по развертыванию, собирая реальные сбои и передавая их обратно в наборы тестов.

• Писать четкие планы тестирования, уставы тестирования и отчеты об ошибках, а также поддерживать документацию по ручному тестированию там, где автоматизация пока не является практичной или экономически эффективной.

Наборы данных, метрики и стратегия качества

• Создавать и управлять эталонными наборами данных и маркированными тестовыми наборами, включая крайние случаи, неоднозначные входные данные и состязательные промпты, специфичные для промышленных и операционных контекстов, с инструментами для версионирования и обнаружения дрейфа.

• Разрабатывать рубрики и проводить оценки с участием человека (human-in-the-loop), когда автоматическая оценка недостаточно надежна.

• Определять и инструментировать метрики качества, выходящие за рамки простой точности (обоснованность, частота галлюцинаций, частота успешного выполнения задач, компромиссы между задержкой/стоимостью и нарушения безопасности), и создавать панели мониторинга для отслеживания их во времени.

• Тестировать поведение агента по всему циклу действий (планирование, выбор инструмента, выполнение инструмента, восстановление после ошибок и окончательный вывод), а не только конечный ответ.

• Исследовать и классифицировать сбои, где первопричиной может быть модель, промпт, инструмент/API или логика оркестровки, и преобразовывать их в воспроизводимые, действенные отчеты об ошибках.

• Устанавливать планки качества, критерии выпуска и процессы утверждения для новых возможностей агента, сочетая автоматизированные шлюзы с ручной проверкой.

• Решать, что автоматизировать, а что оставить для ручной обработки, и постоянно переводить повторяющуюся ручную работу в автоматизацию.

• Менторить инженеров по стратегиям тестирования и практикам, управляемым тестированием, для вероятностных систем на базе LLM.

• Выступать за тестируемость, наблюдаемость и трассировку в архитектуре агента с самого первого дня.

КВАЛИФИКАЦИЯ

• 5+ лет опыта работы SDET, QA-инженером или инженером-разработчиком с сильным фокусом на тестирование, с подтвержденным опытом владения стратегией тестирования и автоматизации для сложных распределенных систем.

• Подтвержденный опыт как в ручном, так и в автоматизированном тестировании, включая исследовательское тестирование, планирование тестирования и написание высококачественных отчетов об ошибках.

• Отличные навыки программирования (предпочтительно Python) с мышлением инженера-разработчика: чистый, поддерживаемый, хорошо проверенный код для фреймворков, конвейеров данных и инструментов.

• Опыт создания фреймворков тестирования и инфраструктуры с нуля, а не просто написания тестовых случаев в существующем фреймворке.

• Практический опыт работы с системами CI/CD (например, GitHub Actions, GitLab CI, Jenkins) и контейнеризированными средами тестирования (Docker, Kubernetes).

• Опыт тестирования API и микросервисов, включая контрактное, интеграционное и сквозное тестирование.

• Практический опыт тестирования продуктов на базе LLM, чат-ботов или агентов ИИ, а также понимание того, почему традиционные детерминированные утверждения неприменимы для генеративных систем.

• Практический опыт работы с фреймворками или инструментами оценки (например, promptfoo, DeepEval, RAGAS, LangSmith) или опыт создания собственных.

• Понимание того, как работают LLM-агенты: промптинг, вызов инструментов/функций, управление контекстом, RAG, память и фреймворки оркестровки.

• Опыт проектирования тестовых данных и маркированных наборов данных, включая их получение, выборку и управление дрейфом наборов данных с течением времени.

• Знакомство с характерными для LLM режимами сбоев: галлюцинации, внедрение промптов, отравление контекста, злоупотребление инструментами, дрейф целей и недетерминированность.

• Уверенность в работе в условиях неопределенности, определение того, что означает «правильно» для задачи, когда нет единственного правильного ответа.

• Отличные навыки письменного общения для преобразования нечетких сигналов качества в ясные, действенные выводы для инженерных и продуктовых стейкхолдеров.

ПРЕДПОЧТЕНИЕ

• Опыт работы с рабочими процессами оценки с участием человека (human-in-the-loop) (конвейеры разметки, надежность между оценщиками, дизайн рубрик).

• Опыт работы с инструментами тестирования производительности и нагрузки (например, k6, Locust) и инструментами тестирования на основе хаоса или внедрения сбоев.

• Опыт в области ML/науки о данных, достаточный для понимания оценок моделей и статистической значимости.

• Опыт работы в качестве «красной команды» или проведения состязательного/тестирования безопасности ML-систем.

• Знакомство с инструментами наблюдаемости и трассировки для LLM-приложений (например, LangSmith, Arize, Langfuse, Weights & Biases) и общими стеками наблюдаемости (OpenTelemetry, Grafana, Datadog).

• Опыт тестирования систем в промышленных средах, средах Интернета вещей (IoT) или операционных технологий (OT), включая промышленные протоколы (OPC UA, MQTT, Modbus) или установки симуляции и аппаратного обеспечения в контуре (hardware-in-the-loop).

• Опыт поддержки UAT, пилотных проектов или клиентской валидации сложных продуктов.

• Опыт создания тестовой и оценочной инфраструктуры с нуля в стартапе или быстроразвивающейся команде.

ЧТО МЫ ИЩЕМ

• Инженера, который одинаково уверенно пишет фреймворк тестирования и вручную ломает агента.

• Человека, который может создавать строгие системы оценки для проблем, у которых нет единственного правильного ответа, и который знает, когда суждение человека является правильным инструментом.

• Системного мыслителя, который любит превращать неоднозначное поведение агента в измеримые, надежные сигналы.

• Сильного коллаборатора, который хорошо сотрудничает с инженерами по машинному обучению, инженерами серверной части и командами по развертыванию.

ПОЧЕМУ СТОИТ ПРИСОЕДИНИТЬСЯ К NEXXA.AI

• Инновационная среда: сыграйте ключевую роль в трансформации тяжелой промышленности с помощью передовых технологий ИИ и автоматизации.

• Культура сотрудничества: станьте частью команды, которая ценит инновации, дисциплину и постоянное совершенствование.

• Профессиональный рост: воспользуйтесь значительными возможностями для карьерного развития и продвижения.

• Конкурентоспособная компенсация: наслаждайтесь полным пакетом заработной платы и опционов, отражающим ваш опыт и вклад.

Если вы увлечены качеством ИИ и стремитесь помочь определить, как выглядят надежные автономные системы в тяжелой промышленности, мы будем рады с вами пообщаться.