Мы ищем специалиста с музыкальной грамотой, который поможет оценивать качество ИИ-моделей, работающих с музыкальной нотацией и аудио. Вы будете участвовать в QA и разметке данных для OMR, Audio2Score и Autograde, помогая улучшать наши модели и создавать высококачественные эталонные наборы данных. Важны глубокое понимание музыки, внимание к деталям и способность структурированно оценивать музыкальные результаты.
Эта роль предлагается на контрактной основе, количество рабочих часов будет обсуждаться и согласовываться.
Основные обязанности
- Оценка каждого релиза OMR и A2S по итогам спринта (биweekly QA: 5-20 партитур для OMR, 5-10 для A2S)
- Проведение более глубоких квартальных циклов QA с AB-тестами (100-300 партитур для OMR, ~100 для A2S)
- Проведение ежеквартального сравнения с конкурентами против N конкурентов на эталонном наборе данных (первый цикл запланирован на октябрь 2026 г.)
- Быстрые проверки кандидатов моделей между релизами (5-10 партитур/неделю для OMR при наличии обновлений; 1-2 партитуры, 2-3 раза/месяц для A2S)
- Выборочная проверка результатов по сравнению с эталонными данными MSCZ и выявление несоответствий в наборе данных/бенчмарке
- Создание и разметка эталонного тестового набора Autograde: запись специфических типов ошибок и аннотирование каждой записи по отношению к партитуре (что должно было быть сыграно, какая ошибка произошла) — необходимо до перехода на MatchMySound 31 октября 2026 г.
- Проведение прямого сравнения Autograde с MatchMySound на том же эталонном наборе
- Расширение эталонного набора данных путем транскрибирования аудио, где это возможно
- Расширение того же процесса разметки/QA на смежные проекты (AutoSync, Audio2Chords) по мере их масштабирования
Требования
- Сильная музыкальная грамота: умение читать и оценивать музыкальную нотацию, партитуры и аудиозаписи исполнения
- Опыт оценки результатов OMR (оптическое распознавание музыки) и транскрибирования аудио в партитуры на точность
- Знакомство с методологией структурированной оценки QA на основе рубрик
- Умение оценивать различные типы партитур (многоязычные тексты песен, оркестровые, ансамблевые, сольные произведения, табулатуры, аккордовая нотация)
- Внимание к деталям для выборочной проверки наборов данных по сравнению с эталонными данными
- Умение давать структурированную письменную обратную связь, пригодную для использования командами инженеров/продуктологов
