Мы расширяем нашу команду и ищем Senior/Principal QA Engineer, который будет отвечать за качество нашего голосового ИИ-ассистента: от тестирования поведения промптов и агентов до тестирования мобильных приложений, ТВ и бэкенда.
Требования
- Senior / Principal, 5+ лет ручного QA - высокий уровень ответственности и самостоятельности: способность взять на себя проект целиком, нести полную ответственность за качество и самостоятельно осваивать новые вещи.
- Опыт тестирования ИИ-агентов / ассистентов: проверка соответствия сценариям и промптам (prompt / instruction following), качества и релевантности ответов.
- Опыт тестирования "под капотом" с помощью инструментов наблюдения / трассировки ИИ (LangSmith и аналоги): анализ трассировок агента - вызовы инструментов, управление памятью, использованная модель, входные/выходные данные, потребление токенов, выявление узких мест.
- Опыт тестирования мобильных приложений и/или приложений для ТВ; опыт тестирования именно на ТВ-устройствах менее критичен.
- Опыт тестирования бэкендов и интеграций: тестирование API (REST / gRPC), проверка стыков между сервисами, чтение логов и трассировок (Kibana / Grafana / Loki и т.д.).
- Крепкие основы QA: дизайн тестов, документация тестов, обработка дефектов.
- Практический опыт использования ИИ-инструментов в повседневном QA-процессе.
Желательно
- Опыт тестирования речевых технологий (ASR / TTS) и работы со звуком.
- Evals - создание и запуск оценок качества ИИ-ассистентов: self-play на основе сценариев, LLM-as-judge, ручная валидация как human-in-the-loop.
- CI/CD / развертывание / тестовые среды: настройка стендов, сборка и развертывание приложений (GitHub / GitLab и т.д.).
- Опыт тестирования устройств / ADB.
- Готовность со временем перейти к автоматизации тестирования.
Обязанности
ИИ-ассистент:
- Оценка качества ассистента: соответствие промптам / инструкциям, соответствие требованиям; выявление регрессий между версиями промптов и моделей.
- Тестирование ассистента "под капотом" с помощью инструментов наблюдения / трассировки: корректность и параметры вызовов инструментов (MCP / интеграции с внешними API), управление памятью, логика бота, трассировки и т.д.
Устройства и приложения
- Сквозное ручное тестирование ассистента в мобильном приложении и на устройствах (ТВ, колонки).
- Тестирование голосового взаимодействия с ассистентом, качества распознавания (ASR) и синтеза (TTS), голосового UX.
- Тестирование продуктовых сценариев ассистента: агентский e-commerce (голосовой заказ -> корзина -> подтверждение на ТВ через пульт), гид по медиаконтенту и расписанию киносеансов, авиабилеты, базовые сценарии (погода, курсы валют, время, таймеры, Q&A).
Платформа
- Тестирование платформы / бэкенд-части, на которой работает ассистент - распределенный бэкенд из множества сервисов: оркестрация диалогов, LLM-агент, ASR / TTS и т.д.
- Проверка сквозного пути запроса через эти компоненты, корректности интеграций и стыков между сервисами, работа с бэкенд-логами и трассировками.
Процесс
- Поддержка тестовых сценариев и отчетов об ошибках.
- Тесное сотрудничество с командой: TPM, Prompt Engineer, DEV, DevOps, ML.
- Первичная QA-проверка критических сценариев перед демонстрациями.
Что мы предлагаем
- Команда создала отмеченные наградами ИИ-продукты для технологических корпораций - устройства, голосовые ассистенты, продукты, которые реально существуют в мире.
- Передовой стек технологий: Speech Technologies, NLP, Generative AI (LLM, diffusion models), voice-first agentic architecture с фокусом на приватность и on-premises развертывание.
- Высокая планка инжиниринга и реальная ответственность - команда заботится о том, что реально работает в продакшене, а не о том, что хорошо выглядит на демо, и вы будете напрямую видеть результаты своей работы.
- Быстрое карьерное продвижение - команда с большим количеством senior-специалистов и большой объем реальных задач означают, что вы будете расти быстрее, чем где-либо еще.
- Скорость стартапа при стабильности предприятия - реальные клиенты, реальный доход, отсутствие бюрократии.
- Полностью удаленная работа по всей Европе.
- 21 день отпуска + государственные праздники + 5 дней больничного.
- Индивидуальные уроки английского через Preply
