Должность: Инженер-исследователь — Мультимодальное генеративное моделирование Компания: Synthesia Местоположение: Европа / Удаленно

Synthesia — ведущая в мире AI-платформа для видеоконференций для бизнеса, которой пользуются более 90% компаний из списка Fortune 100. Основанная в 2017 году, компания имеет штаб-квартиру в Лондоне, а также офисы и команды в Европе и США.

Поскольку ИИ продолжает формировать то, как мы живем и работаем, Synthesia разрабатывает продукты для улучшения визуальной коммуникации и развития корпоративных навыков, помогая людям работать лучше и оставаться в центре успешных организаций.

После нашего недавнего раунда финансирования Серии E, в ходе которого мы привлекли 200 миллионов долларов, наша оценка составляет 4 миллиарда долларов. Общий объем нашего финансирования превышает 530 миллионов долларов от ведущих инвесторов, включая Accel, NVentures (венчурное подразделение Nvidia), Kleiner Perkins, GV и Evantic Capital, а также основателей и операторов Stripe, Datadog, Miro и Webflow.

О РОЛИ

Долгосрочное видение Synthesia — создание лучших человеко-интерактивных моделей: систем, которые не просто разговаривают с людьми, но воспринимают их и реагируют на них, реагируя на действия и эмоции пользователя, а не только на его слова. Сегодня более 60 000 компаний полагаются на нашу платформу, и следующий скачок в том, что мы можем им предложить, зависит от моделей, которые объединяют текст, аудио и видео в единый интерактивный опыт в реальном времени.

В качестве инженера-исследователя вы присоединитесь к команде Voice в нашем R&D отделе из более чем 40 человек, но ваш охват будет выходить далеко за рамки голоса. Вы поможете определить и продвигать это более широкое видение в различных командах, предлагая амбициозные направления исследований и принимая на себя прямую ответственность за проектирование и реализацию его наиболее критических компонентов. Вы будете работать напрямую с нашим руководителем отдела голосовых технологий и тесно сотрудничать с нашими видеокомандами и другими старшими членами организации.

Конкретно, вы будете работать над моделями «голос-в-голос», которые одновременно генерируют текст и голос. Модели, которые могут рассуждать, прерывать пользователя обратной связью и разговаривать. Модели, с которыми вы чувствуете, что ведете естественный разговор, без ощущения поочередной смены реплик, которое доминирует в текущих моделях «речь-в-речь». Ваша роль будет заключаться в партнерстве при определении дорожной карты, ее реализации и внедрении результатов в продукт.

Что вы будете делать

• Формировать нашу дорожную карту для создания новых возможностей моделей и разблокировки новой функциональности для нашей клиентской базы, как в краткосрочной, так и в долгосрочной перспективе.
• Предлагать новые архитектуры мультимодальных систем (особенно текст и голос).
• Разрабатывать и оценивать потоковые и диалоговые системы для низколатентного, интерактивного синтеза голоса и видео.
• Разрабатывать решения, которые усиливают эмоциональную выразительность и естественное взаимодействие.
• Реализовывать и воплощать в жизнь дизайны, от предварительной тренировки до пост-тренировки.
• Интегрировать и тестировать новые архитектуры (нейронные кодеры, диффузионные модели, flow-matching) для повышения реализма и отзывчивости.
• Определять новые метрики оценки для диалоговых систем, включая измерения с учетом задержки и взаимодействия.
• Отслеживать последние исследования в области аудиовизуальных диффузионных моделей, авторегрессионных моделей, нейронных кодеров и мультимодальных LLM.
• Курировать новые наборы данных для дополнения существующих.
• Руководить инициативами пост-тренировки, такими как DPO, fine-tuning и distillation, для доведения моделей до качества, пригодного для выпуска.
• Выпускать модели в продакшн с оптимизированным временем выполнения для обслуживания клиентов и впоследствии учитывать их отзывы.

В этой роли вы добьетесь успеха, если у вас есть

• Способность предлагать новые идеи и разработки, которые продвигают область интерактивных мультимодальных систем.
• Глубокое понимание генеративного моделирования, желательно применительно к последовательным или мультимодальным данным.
• Практический опыт работы с большими языковыми моделями или аналогичными архитектурами на основе трансформеров.
• Высокий уровень владения PyTorch, включая распределенное обучение и оптимизацию моделей.
• Твердое понимание моделирования временных рядов и токенизации, предпочтительно в контексте аудио, речи или видео.
• Подтвержденная способность быстро прототипировать, проверять гипотезы и эффективно итерировать.
• Подтвержденный опыт обучения моделей глубокого обучения от начала до конца, от подготовки данных до оценки.
• Сильные общие навыки программной инженерии, позволяющие вносить вклад в большую, общую исследовательскую инфраструктуру.

ОСОБЕННО РЕЛЕВАНТНЫЙ ОПЫТ

• Опыт выпуска генеративной модели в реальный продукт, используемый в значительных масштабах, а не просто публикация или прототипирование.
• Опыт работы с диалоговыми или интерактивными системами, где задержка, отзывчивость и пользовательский опыт были первостепенными ограничениями, а не второстепенными.
• Опыт работы с LLM с масштабным обучением, приводящим к моделям с достойными возможностями рассуждения.
• Ответственность за исследовательскую задачу от начала до конца: от предложения архитектуры до предварительной тренировки, пост-тренировки и внедрения в продакшн.
• Сотрудничество между модальностями или командами (например, аудио и видео, или исследования и продукт) для выпуска единой системы.

БОНУСНЫЕ БАЛЛЫ ЗА

• Опыт работы с архитектурами реального времени или потоковыми архитектурами.
• Знакомство с современными архитектурами в области генерации аудио и речи, такими как диффузионные модели, нейронные кодеры, flow-matching модели или авторегрессионные декодеры.
• Превосходство в одной или нескольких из следующих модальностей: голос, текст, видео.
• Свидетельства оригинальных исследовательских вкладов, такие как публикации или open-source проекты на ведущих площадках (например, NeurIPS, CVPR, ICML, ICLR, Interspeech).