ML-инженер в команду претрейна синтеза речи

Мы строим универсальный мультиязычный претрейн для TTS, который станет основой для всех наших продуктов: от голосового ассистента и аудиокниг до клонирования голоса и его сохранения при видеопереводе и дубляже.

Одна из ключевых задач команды прямо сейчас — разработка нового нейронного аудиокодека. От него зависит всё: скорость и стоимость обучения, широта интонаций и эмоций, чистота и естественность звука в финальных продуктах.

Какие задачи вас ждут

Разработка семантического аудиокодека Вы будете проектировать, обучать с нуля и масштабировать современные архитектуры нейронных кодеков. Цель — достичь максимального сжатия с минимальными потерями качества и семантической информации.

Работа с большими данными Вам предстоит обучать модели на сотнях тысяч часов мультиязычной речи.

Обучение и масштабирование больших моделей Вы будете обучать большие (несколько B) модели и проводить с ними эксперименты на наших GPU-кластерах — при помощи распределённого обучения.

Оценка и метрики Вам нужно будет придумывать и внедрять автоматические и экспертные метрики для оценки качества звука (чистота, артефакты), выразительности речи и семантической сохранности выходов кодека и претрейна.

Сквозной цикл разработки Вы пройдёте полный путь от исследования (чтение статей, proof-of-concept) до тестирования ваших решений в реальных продуктах.

Больше об ML в Яндексе — в канале Yandex for ML

Мы ждём, что вы

• Уверенно пишете на Python и PyTorch
• Имеете опыт полного цикла обучения больших моделей с нуля, желательно в области NLP, audio или multimodal
• Обладаете широким кругозором в области NLP
• Готовы погрузиться в область синтеза речи, чтобы разобраться как в теории, так и в инженерных деталях
• Следите за развитием ML и умеете воплощать идеи из статей в код

Будет плюсом

• Работали в одной из областей: TTS/VC, нейронные аудиокодеки, обучение LLM с нуля

Если вы хотите построить технологический фундамент для будущего синтеза речи, а также видеть результат своей работы в продуктах, которыми ежедневно пользуются миллионы людей, — присоединяйтесь к команде!