Местоположение: Мумбаи, Индия
Тип занятости: Полная занятость
О Accrete
Accrete — это компания, предоставляющая управляемые услуги на базе агентов: ИИ-рабочая сила, выполняющая критически важную работу, требующую высокой степени суждений, для государственных и корпоративных клиентов — по ценам программного обеспечения, а не труда.
В основе лежит движок знаний Accrete (Knowledge Engine) — динамический граф контекста, который фиксирует неявные знания организации, разрешает данные в разрозненных системах и создает живую, проверяемую истину. Агенты-эксперты принимают решения на основе этой истины, действуя в рамках сложных, ответственных решений, а не просто отвечая на вопросы о них.
От национальной безопасности до коммерческих операций, Accrete выполняет работу на одной платформе с неограниченным количеством агентов-экспертов и экспертными суждениями.
О роли
Мы ищем AI Platform Senior Engineer, QA – Agentic AI & Automation (Старшего инженера по обеспечению качества на платформе ИИ – Агентный ИИ и автоматизация) для руководства обеспечением качества наших платформ на базе агентов и моделей ИИ. Эта роль сосредоточена на проверке интеллектуальных агентов, недетерминированных результатов ИИ и межпродуктовых рабочих процессов с использованием передовых методов автоматизации и оценки ИИ.
Вы будете играть ключевую роль в создании нашей Корпоративной платформы доверия и валидации ИИ (Enterprise AI Trust & Validation Framework), обеспечивая надежность, прозрачность и масштабируемость систем ИИ.
Основные обязанности
Агентный ИИ и тестирование систем
- Тестирование многоагентных рабочих процессов, уровней оркестрации и междоменных интеллектуальных систем.
- Проверка генерируемых ИИ нарративов, тем и аналитических результатов.
- Проведение тестирования на обоснованность, связность, галлюцинации и стабильность.
- Тестирование диалогового ИИ и чат-ботов.
- Оценка согласованности результатов при многократных запусках и обнаружение отклонений в выходных данных.
Разработка автоматизации и фреймворков
- Проектирование и поддержка фреймворков автоматизации с использованием Python, JavaScript/TypeScript, Pytest и Playwright.
- Создание сквозной автоматизации для UI, API и конвейеров агентов.
- Разработка многоразовых утилит для тестирования валидации ИИ и регрессионного тестирования.
- Интеграция автоматизации с CI/CD конвейерами.
Тестирование моделей ИИ и их оценки
- Валидация внутренних моделей ИИ/МО и конвейеров инференса.
- Внедрение LLM-as-Judge (LLM как судья) и валидации на основе семантического сходства.
- Проведение статистического и сравнительного тестирования выходных данных моделей.
- Поддержка тестирования моделей, развернутых на AWS.
API и инженерия производительности
- Тестирование API с использованием Postman и автоматизированных скриптов.
- Проектирование и выполнение нагрузочного и стресс-тестирования.
- Мониторинг производительности системы при высоких нагрузках ИИ.
- Определение узких мест и рисков масштабируемости.
Стратегия качества и сотрудничество
- Анализ бизнес-требований, пользовательских историй и спецификаций ИИ.
- Разработка стратегий тестирования для агентных систем и систем на базе ИИ.
- Тесное сотрудничество с командами разработки, продукта и науки о данных.
- Отслеживание дефектов, метрик качества и готовности к выпуску.
- Содействие постоянному совершенствованию процессов QA.
Требуемые квалификации
- 6–8+ лет опыта работы в области QA, автоматизации или инженерии качества.
- Глубокое знание Python, JavaScript/TypeScript, Pytest и Playwright.
- Опыт тестирования систем ИИ, чат-ботов или платформ на основе LLM.
- Глубокое понимание тестирования недетерминированных систем.
- Опыт тестирования API (Postman, REST фреймворки).
- Практический опыт нагрузочного тестирования. (Знакомство с K6 приветствуется).
- Опыт работы в Agile/Scrum средах.
- Сильные навыки аналитики и отладки.
- Отличные коммуникативные навыки и навыки документирования.
Предпочтительные квалификации
- Опыт работы с фреймворками агентов (LangChain, AutoGen, CrewAI и т. д.).
- Знание RAG систем и векторных баз данных.
- Опыт работы с MLOps и инструментами наблюдаемости ИИ.
- Опыт работы с облачными платформами (предпочтительно AWS).
- Знакомство со статистической валидацией и оценкой NLP.
- Опыт работы с CI/CD (GitHub Actions, Jenkins, GitLab).
- Знакомство с технологиями контейнеризации, такими как Docker/Kubernetes.
Основные компетенции
Инженерия качества ИИ / Валидация рабочих процессов агентов / Архитектура автоматизации / Оценка и мониторинг моделей / Инженерия производительности / Оценка рисков / Кросс-функциональное сотрудничество / Мышление, ориентированное на результат
Карьерный рост
Эта роль открывает возможности для перехода на позиции, такие как:
- Principal AI QA Engineer
- AI Systems Quality Architect
- QA Engineering Lead
- AI QA Engineering Manager
Культурное соответствие и ценности
В Accrete успех выходит за рамки технической экспертизы. Мы ценим:
- Ответственность и подотчетность: Доводите инициативы до завершения, соблюдая высокие стандарты и проявляя проактивность в решении проблем.
- Прозрачность и коммуникация: Открыто делитесь информацией, давайте и получайте конструктивную обратную связь.
- Стратегическое мышление и решение проблем: Критически анализируйте вызовы и разрабатывайте эффективные, масштабируемые решения.
- Сотрудничество и профессионализм: Эффективно работайте в кросс-функциональных командах и вносите вклад в культуру взаимного уважения.
- Страсть к ИИ и инновациям: Сохраняйте любознательность, постоянно учитесь и расширяйте границы возможного в ИИ.
- Превышение должностных обязанностей: Ищите возможности для внесения значимого вклада, выходящего за рамки ваших непосредственных обязанностей.
Эти принципы формируют нашу культуру, ожидания от производительности и возможности для роста.
Преимущества компании
- Конкурентная заработная плата: Соответствует опыту и рыночным стандартам.
- Медицинское страхование (Mediclaim): Покрытие в размере 10 лакх рупий для вас и вашей семьи.
- Гибкий PTO и гибридная работа: Берите отпуск, когда это необходимо, и пользуйтесь гибкостью удаленной работы в соответствии с политикой компании.
- Рост и развитие: Доступ к возможностям профессионального обучения и поддержка карьерного роста.
- Льготы на месте: Оплачиваемые обеды и закуски.
- Сплочение команды: Социальные мероприятия и командные мероприятия, спонсируемые компанией.
Accrete является работодателем, предоставляющим равные возможности/позитивные действия. Все квалифицированные кандидаты получат рассмотрение на предмет трудоустройства независимо от пола, гендерной идентичности, сексуальной ориентации, расы, цвета кожи, вероисповедания, национального происхождения, инвалидности, статуса ветерана, возраста или любых других характеристик, защищенных законом.
