QA Engineer

Должность: QA Engineer Местоположение: Осло / Норвегия / Осло, Норвегия

О Newcode.ai Newcode.ai — это быстрорастущая компания в области юридических технологий и агентского ИИ, которая трансформирует юридическую практику. Имея команды в Норвегии, Швеции, Ирландии, США и продолжая расти, мы работаем на стыке права, технологий и интеллекта. Мы движемся быстро, мыслим масштабно и гордимся тем, что делаем все правильно. Примечание: Мы стремимся быть прозрачными в отношении того, каково это — работать в Newcode. Будучи быстрорастущим стартапом, мы строим и развиваемся каждый день. Это означает, что не все процессы, руководства или фреймворки еще созданы, и приоритеты могут быстро меняться. Люди, которые преуспевают здесь, комфортно себя чувствуют в условиях неопределенности, берут на себя ответственность и не ждут идеального руководства. Они находчивы, проактивны и способны "разобраться" — решать проблемы, создавать структуру там, где это необходимо, и помогать строить компанию по ходу дела. Если вам это подходит, отлично! Читайте дальше, чтобы узнать больше. Роль В качестве QA Engineer вы будете отвечать за системы, процессы и технические фреймворки, которые мы используем для оценки качества ИИ-продуктов Newcode. Вы будете тесно сотрудничать с инженерами-программистами и инженерами по юридическим вопросам, чтобы понять, как наш ИИ работает в реальных юридических рабочих процессах, выявить его недостатки, разработать лучшие методологии оценки и превратить эти выводы в измеримые улучшения. Это не традиционная QA. Вы будете работать на стыке оценки ИИ, разработки программного обеспечения, юридических рабочих процессов и качества продукции. Основные обязанности: Разработка и создание автоматизированных фреймворков оценки с участием человека (human-in-the-loop) для продуктов и рабочих процессов на базе ИИ. Разработка метрик и бенчмарков для измерения точности, надежности, согласованности и общего качества ИИ. Создание наборов данных для оценки, тестовых случаев и регрессионных наборов для сложных юридических сценариев использования. Анализ выходных данных моделей для выявления режимов сбоев, закономерностей и возможностей для улучшения. Тесное сотрудничество с инженерами по юридическим вопросам для преобразования реальных юридических рабочих процессов в строгие критерии оценки. Партнерство с инженерами-программистами для прямой интеграции оценок в продуктовые и разработочные рабочие процессы. Настройка автоматизированного тестирования и мониторинга для выявления регрессий качества до того, как они достигнут клиентов. Оценка изменений в моделях, промптах, системах поиска (retrieval systems), агентах и рабочих процессах. Разработка инструментов, которые делают качество ИИ измеримым и видимым для всей организации. Расследование непредвиденного поведения моделей и определение первопричин. Помощь в установлении стандартов "хорошего" для различных юридических сценариев использования. Требования Сильный опыт в разработке программного обеспечения или технический бэкграунд с опытом работы с системами ИИ/МО. Опыт создания фреймворков для тестирования, оценки или обеспечения качества продуктов на базе ИИ. Уверенный опыт программирования на Python и/или аналогичных языках. Понимание LLM, генеративного ИИ, систем поиска (retrieval systems), агентов и/или методологий оценки ИИ. Сильные аналитические способности и навыки решения проблем. Способность работать с неоднозначными проблемами и преобразовывать их в измеримые технические фреймворки. Высокое внимание к деталям и высокие стандарты качества. Способность четко доносить технические результаты как техническим, так и нетехническим заинтересованным сторонам. Комфорт в кросс-функциональной работе с отделами разработки, продукта и юридической инженерии. Преимущества Почему вам понравится работать с нами Культура доверия и превосходства: Будьте частью команды, которая ценит надежность, уважение и инициативу, где вклад каждого имеет значение, а разнообразие способствует творчеству. Совместная среда: Работайте с талантливыми, целеустремленными коллегами над передовыми решениями в области юридической инженерии с реальным влиянием. Рост и ответственность: Формируйте свою роль по мере нашего роста. Берите на себя ответственность и добивайтесь результатов с самого начала вашего пути. Инклюзивная культура превосходства и доверия: Мы вознаграждаем инициативу, уважение, честность и командную работу, и стремимся построить глобальную, инклюзивную команду. Ваша целеустремленность, любопытство и идеи значат больше, чем ваше прошлое. Готовы формировать будущее? Подайте заявку сегодня и присоединяйтесь к нам в создании более умного, более эффективного мира, основанного на ИИ.