Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Newcode.ai
Соединенные Штаты4 месяца назад
Who are we?
At Newcode.ai, we're transforming how law firms and legal professionals harness AI for real-world impact. As part of our collaborative, high-growth team, you'll have the rare opportunity to work side-by-side with visionary founders at the bleeding edge of AI and legal innovation — shaping not just our product, but the future of legal work itself.
Note: We believe in being transparent about what it's like to work at Newcode. As a fast-growing startup, we're building and evolving every day. That means not every process, playbook, or framework is already in place, and priorities can shift quickly.
The people who thrive here are comfortable with ambiguity, take ownership, and don't wait for perfect direction. They are resourceful, proactive, and able to "figure it out"—solving problems, creating structure where needed, and helping build the company as they go. If you are good with this then, great! Keep reading to learn more.
Position Overview
We are seeking a highly analytical professional with a strong statistical background to join our Head of Evaluations. In this role, you will design, implement, and scale the testing frameworks used to evaluate our platform. You will ensure our AI products meet the highest standards of legal reasoning, factual accuracy, and regulatory compliance while maintaining a near-zero hallucination rate.
Key Responsibilities
Design Legal Benchmarks for: Contract Drafting, Information Extraction, Legal Research, and Contract Review
Build, source and maintain relevant datasets
Audit AI Output: Review and score complex AI-generated legal text, contract analyses, and statutory interpretations for accuracy and precision and lay out a strategy.
Define Evaluation Metrics: Establish clear criteria for grading model performance, specifically focusing on logical reasoning, citation accuracy, and the model's ability to safely abstain from answering.
Collaborate with Engineering: Partner directly with Engineering to translate legal errors into actionable technical feedback for model fine-tuning.
Requirements
PhD or Masters in statistics, mathematics, machine learning or equivalent
Analytical Skills: Proven ability to break down complex statutory frameworks and case law into structured, logical data points.
Tech-Savviness: python, panda, numpy, jupiter notebooks and similar statistical models
Visa Sponsorship:
At this time, Newcode is unable to provide visa sponsorship. Candidates must be authorized to work in the applicable country without employer sponsorship.
Сравним навыки, грейд, формат работы и зарплату
Грейд
Head
Формат работы
Удалённо
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Кто мы? В Newcode.ai мы трансформируем способы, которыми юридические фирмы и юристы используют ИИ для реального воздействия. Работая в нашей дружной командой с высоким потенциалом роста, вы получите редкую возможность работать бок о бок с визионерами-основателями на передовой линии инноваций в области ИИ и права — формируя не только наш продукт, но и будущее самой юридической работы. Примечание: Мы считаем, что важно быть прозрачными в отношении того, каково это — работать в Newcode. Как быстрорастущий стартап, мы строим и развиваемся каждый день. Это означает, что не все процессы, руководства или фреймворки уже существуют, и приоритеты могут быстро меняться. Люди, которые преуспевают здесь, комфортно чувствуют себя в условиях неопределенности, берут на себя ответственность и не ждут идеальных указаний. Они находчивы, инициативны и способны «разобраться» — решать проблемы, создавать структуру там, где это необходимо, и помогать строить компанию по ходу дела. Если вас это устраивает, тогда отлично! Продолжайте читать, чтобы узнать больше. Мы ищем высокоаналитичного специалиста с сильной статистической подготовкой, который присоединится к нашему руководителю отдела оценки. На этой должности вы будете разрабатывать, внедрять и масштабировать тестовые фреймворки, используемые для оценки нашей платформы. Вы будете обеспечивать соответствие наших ИИ-продуктов самым высоким стандартам юридического рассуждения, фактической точности и соответствия нормативным требованиям, поддерживая при этом уровень галлюцинаций, близкий к нулю.
Разработка юридических бенчмарков для: составления договоров, извлечения информации, юридических исследований и анализа договоров
Создание, поиск и поддержка соответствующих наборов данных
Аудит выходных данных ИИ: проверка и оценка сложных юридических текстов, сгенерированных ИИ, анализа договоров и толкований законов на предмет точности и прецизионности, а также разработка соответствующей стратегии.
Определение метрик оценки: установление четких критериев для оценки производительности модели, с уделением особого внимания логическому рассуждению, точности цитирования и способности модели безопасно отказаться от ответа.
Сотрудничество с инженерной командой: прямое взаимодействие с инженерной командой для преобразования юридических ошибок в действенные технические отзывы для доработки модели.
PhD или степень магистра в области статистики, математики, машинного обучения или эквивалент Аналитические навыки: подтвержденная способность разбивать сложные законодательные фреймворки и прецедентное право на структурированные, логические точки данных. Техническая грамотность: python, panda, numpy, jupiter notebooks и аналогичные статистические модели
