Research Staff, Voice AI Foundations - Remote

Должность: Научный сотрудник, Основы голосового ИИ — Удаленно Местоположение: Нидерланды / Удаленно

## ОБЗОР КОМПАНИИ

Deepgram — ведущая платформа, лежащая в основе зарождающейся экономики голосового ИИ стоимостью в триллион долларов, предоставляющая API в реальном времени для преобразования речи в текст (STT), текста в речь (TTS) и создания производственных голосовых агентов в масштабе. Более 200 000 разработчиков и более 1300 организаций создают голосовые решения, работающие на платформе Deepgram («Powered by Deepgram»), включая Twilio, Cloudflare, Sierra, Decagon, Vapi, Daily, Cresta, Granola и Jack in the Box. Фундаментальные модели Deepgram для голоса доступны через облачные API или в виде самостоятельно размещаемого программного обеспечения и программного обеспечения для локальной установки, отличаясь непревзойденной точностью, низкой задержкой и экономической эффективностью. Опираясь на недавний раунд финансирования Серии C под руководством ведущих мировых инвесторов и стратегических партнеров, Deepgram обработала более 50 000 лет аудио и расшифровала более 1 триллиона слов. В мире нет организации, которая понимала бы голос лучше, чем Deepgram.

## РИТМ РАБОТЫ КОМПАНИИ

В Deepgram мы ожидаем мышления, ориентированного на ИИ — использование ИИ и комфортное взаимодействие с ним не являются необязательными, они лежат в основе того, как мы работаем, внедряем инновации и измеряем производительность.

От каждого члена команды, работающего в Deepgram, ожидается активное использование и экспериментирование с передовыми инструментами ИИ, и даже создание собственных инструментов для повседневной работы. Мы измеряем, насколько эффективно применяется ИИ для достижения результатов, и постоянное, творческое использование новейших возможностей ИИ является ключом к успеху здесь. Кандидаты должны быть готовы быстро осваивать новые модели и подходы, интегрировать ИИ в свои рабочие процессы и постоянно расширять границы того, что эти технологии могут делать.

Кроме того, мы движемся со скоростью ИИ. Изменения происходят быстро, и вы можете ожидать, что ваша повседневная работа будет развиваться так же быстро. Эта роль может не подойти вам, если вы не горите желанием экспериментировать, адаптироваться, мыслить быстро и учиться постоянно, или если вы ищете что-то строго регламентированное и традиционное с 9 до 5.

## ВОЗМОЖНОСТЬ

Голос — это самый естественный способ взаимодействия человека с машиной. Однако современные парадигмы моделирования последовательностей, основанные на совместном масштабировании моделей и данных, не могут обеспечить голосовой ИИ, способный к универсальному человеческому взаимодействию. Проблемы коренятся в фундаментальных проблемах данных, связанных с аудио: реальные аудиоданные редки и чрезвычайно разнообразны, охватывая огромное пространство голосов, стилей речи и акустических условий. Даже если бы были доступны миллиарды часов аудио, его присущая высокая размерность создает вычислительные затраты и затраты на хранение, которые делают обучение и развертывание непомерно дорогими в мировом масштабе. Мы верим, что для преодоления этих проблем и обеспечения доступности голосового взаимодействия для всех необходимы совершенно новые парадигмы для аудио ИИ.

## РОЛЬ

В качестве члена исследовательского штата вы будете пионером в разработке моделей латентного пространства (LSM), нового подхода, направленного на решение фундаментальных проблем данных, масштаба и стоимости, связанных с созданием надежного, контекстуализированного голосового ИИ. Ваши исследования будут сосредоточены на решении одной или нескольких из следующих проблем:

- Создание нейронных аудиокодеков следующего поколения, обеспечивающих экстремальное сжатие с низкой скоростью передачи данных и высококачественную реконструкцию в рамках глобального корпуса общего аудио.

- Разработка управляемых генеративных моделей, способных синтезировать все разнообразие человеческой речи из латентного представления кодека, от непринужденной беседы до выражения сильных эмоций, до сложных многоголосых сценариев с фоновым шумом и перекрывающейся речью.

- Разработка систем встраивания (embedding systems), которые четко разделяют латентное пространство кодека на интерпретируемые измерения диктора, контента, стиля, окружения и эффектов канала — обеспечивая точный контроль над каждым аспектом и возможность массово расширять существующий исходный набор данных посредством «латентной рекомбинации».

- Использование латентной рекомбинации для генерации синтетических аудиоданных в ранее невозможных масштабах, открывая парадигмы совместного масштабирования моделей и данных для аудио. Стремление обучать мультимодальные системы преобразования речи в речь, которые могут 1) понимать любого человека независимо от его демографии, состояния или окружения и 2) генерировать эмпатичные, похожие на человеческие ответы, достигающие целей диалога или задачи.

- Проектирование архитектур моделей, схем обучения и алгоритмов вывода, адаптированных для аппаратного обеспечения на низком уровне, обеспечивая эффективное обучение на наборах данных объемом в миллиарды часов и обеспечивая вывод в реальном времени для сотен миллионов одновременных разговоров.

## ВЫЗОВ

Мы ищем исследователей, которые:

- Рассматривают «нерешенные» проблемы как возможности для создания совершенно новых подходов.

- Способны определить один критический эксперимент, который подтвердит или опровергнет идею за дни, а не за месяцы.

- Обладают видением для масштабирования успешных концепций в 100 раз.

- Одержимы использованием ИИ для автоматизации и усиления собственного воздействия.

Если вас это воодушевляет, а не пугает — если вы уже думаете о пяти идеях, которые можно попробовать, читая это, — возможно, вы тот исследователь, который нам нужен. Эта роль требует одержимости проблемами, креативности в подходах и неустанного стремления к элегантным, масштабируемым решениям. Технические задачи огромны, но потенциальное влияние трансформационно.

## ВАЖНО, ЧТОБЫ ВЫ ИМЕЛИ

- Прочную математическую основу в области теории статистического обучения, особенно в областях, связанных с самообучением и мультимодальным обучением.

- Глубокие знания в области архитектур фундаментальных моделей, с пониманием того, как масштабировать обучение на нескольких модальностях.

- Подтвержденную способность связывать теорию и практику — того, кто может как разрабатывать новые математические формулировки, так и эффективно их реализовывать.

- Продемонстрированную способность создавать конвейеры данных (data pipelines), которые могут обрабатывать и курировать массивные наборы данных, поддерживая качество и разнообразие.

- Опыт проектирования контролируемых экспериментов, изолирующих влияние архитектурных инноваций и проверяющих теоретические выводы.

- Опыт оптимизации моделей для реального развертывания, включая знания об ограничениях аппаратного обеспечения и методах эффективности.

- Историю вклада в open-source или исследовательских публикаций, продвинувших состояние дел в области речевого/языкового ИИ.

## ИДЕАЛЬНЫЙ ПРОФИЛЬ ИССЛЕДОВАТЕЛЯ

Идеальный исследователь, как показали повторяющиеся темы в этих основополагающих статьях, преуспевает в пяти ключевых областях: (1) Статистические и математические основы, (2) Алгоритмические инновации и реализация, (3) Системы, управляемые данными, и масштабируемые системы, (4) Понимание аппаратного и системного обеспечения, и (5) Строгий экспериментальный дизайн. Ниже приводится синтез того, как каждая статья освещает эти качества, со ссылками, иллюстрирующими, почему они важны для создания надежных, влиятельных моделей глубокого обучения.

### 1. СТАТИСТИЧЕСКИЕ И МАТЕМАТИЧЕСКИЕ ОСНОВЫ

#### Владение основными понятиями

Многие статьи, такие как Scaling Laws for Neural Language Models и Neural Discrete Representation Learning (VQ-VAE), отражают важность анализа степенных законов, вывода новых функций потерь или адаптации фундаментальных уравнений (например, функции потерь приверженности VQ-VAE или выпрямленные потоки в Scaling Rectified Flow Transformers). Такая математическая основа проясняет, почему модели сходятся или коллапсируют.

#### Сочетание существующих теорий новыми способами

Статьи, такие как Moshi (сочетающая моделирование текста, аудиокодеки и иерархическое генеративное моделирование) и Finite Scalar Quantization (адаптация FSQ классического скалярного квантования для замены векторно-квантованных представлений), показывают, как повторное использование, но переосмысление известных методов может привести к прорывам. Многие ссылки (например, двойственность структурированных пространств состояний в Transformers — SSMs) подчеркивают, как объединение ранее отдельных исследовательских направлений может выявить мощные алгоритмические или теоретические идеи.

#### Логическое рассуждение и проверка предположений

Во всех статьях — особенно в постановках задач Whisper или Rectified Flow Transformers — авторы представляют предположения (например, «масштабирование данных ведет к робастности при нулевом выстреле» или «впрыскивание линейного шума повышает эффективность выборки») и систематически проверяют их с помощью тщательных эмпирических результатов. Идеальный исследователь аналогично обосновывает новые идеи хорошо сформулированными, проверяемыми гипотезами.

### 2. АЛГОРИТМИЧЕСКИЕ ИННОВАЦИИ И РЕАЛИЗАЦИЯ

#### Креативные решения известных узких мест

Каждая статья представляет уникальный алгоритмический вклад: Rectified Flow Transformers переопределяют стандартные пути диффузии, FSQ предлагает более простое скалярное квантование в отличие от VQ, phi-3 mini полагается на отобранные данные и блочно-разреженное внимание, а Mamba-2 объединяет скорость SSM с концепциями внимания.

#### Превращение теории в практику

Будь то прямое оптимизация по предпочтениям (DPO) для выравнивания в phi-3 или остаточное векторное квантование в SoundStream, эти работы показывают, что связь между дизайнерскими идеями и реализуемыми прототипами имеет важное значение.

#### Четкое влияние через прототипы и Open-Source

Многие ссылки (Whisper, Neural Discrete Representation Learning, Mamba-2) подчеркивают выпуск кода или предварительно обученных моделей, что позволяет более широкому сообществу воспроизводить и развивать новые методы. Эта предпосылка сотрудничества способствует более быстрому прогрессу.

### 3. СИСТЕМЫ, УПРАВЛЯЕМЫЕ ДАННЫМИ, И МАСШТАБИРУЕМЫЕ СИСТЕМЫ

#### Акцент на крупномасштабных данных и эффективных конвейерах

Статьи, такие как Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) и BASE TTS, демонстрируют, что сбор и обработка сотен тысяч часов реального аудио могут открыть новые возможности в областях с нулевым выстрелом или с ограниченными ресурсами. Между тем, технический отчет phi-3 показывает, что фильтрация и курирование данных в масштабе (например, «режим оптимальных данных») могут обеспечить высокую производительность даже в небольших моделях.

#### Стратегическое использование данных для поэтапного обучения

Повторяющейся стратегией является варьирование источников данных или порядка задач. Whisper обучается на многоязычных задачах, BASE TTS использует подмножества/этапы для предварительного обучения на речевых токенах, а phi-3 развертывает несколько фаз обучения (веб-данные, затем синтетические данные). Этот систематический подход к данным подчеркивает, как идеальный исследователь разрабатывает учебные программы и протоколы фильтрации данных для максимальной производительности.

### 4. ПОНИМАНИЕ АППАРАТНОГО И СИСТЕМНОГО ОБЕСПЕЧЕНИЯ

#### Эффективная реализация в масштабе

Многие работы иллюстрируют, как исследователи настраивают архитектуры для современных ускорителей: статья In-Datacenter TPU является примером специализированного аппаратного дизайна для плотных матричных умножений, в то время как phi-3 использует блочно-разреженное внимание и пользовательские ядра Triton для запуска передовых LLM на устройствах с ограниченными ресурсами.

#### Ограничения в реальном времени и на устройстве

SoundStream показывает, как сжимать аудио в реальном времени на процессоре смартфона, демонстрируя, что знание аппаратных ограничений (задержка, ограниченная память) определяет выбор дизайна. Аналогично, низкая задержка потокового TTS Moshi и вывод phi-3-mini на телефоне подчеркивают, что идеальный исследователь должен адаптировать алгоритмы к ограничениям ресурсов, сохраняя при этом надежность.

#### Детали архитектуры и оптимизации

Статьи, такие как Mamba-2 in Transformers are SSMs и работа In-Datacenter TPU, показывают, как использование специализированного матричного разложения, пользовательских иерархий памяти или подходов к квантованию может привести к прорывам в скорости или энергоэффективности.

### 5. СТРОГИЙ ЭКСПЕРИМЕНТАЛЬНЫЙ ДИЗАЙН

#### Контролируемые сравнения и абляции

Почти все статьи — Whisper, FSQ, Mamba-2, BASE TTS — используют систематические абляции для изоляции влияния отдельных компонентов (например, абляция по векторному квантованию против скалярного квантования в FSQ или размер кодовых книг в VQ-VAEs). Этот подход показывает, какие проектные решения действительно важны.

#### Многофакторные метрики оценки

От прослушивающих тестов MUSHRA (SoundStream, BASE TTS) до FID в генерации изображений (Scaling Rectified Flow Transformers, FSQ) до перплексии или обобщения при нулевом выстреле в языке (phi-3, Scaling Laws for Neural Language Models), работы демонстрируют ценность всесторонних, тщательно выбранных метрик.

#### Стресс-тесты и крайние случаи

Тесты Whisper на внераспределительных речевых данных (out-of-distribution speech benchmarks), оценка SoundStream на речи + музыке или производительность Mamba-2 в многократном ассоциативном вспоминании демонстрируют важность специализированных наборов задач. Исследователи, которые создают или принимают строгие бенчмарки и «красное тестируют» свои модели (как в phi-3 safety alignment), лучше подготовлены к решению реальных сложностей.

## ИТОГ

В целом, идеальный исследователь в области глубокого обучения последовательно демонстрирует:

- Прочную основу в теоретических и статистических принципах. - Талант к предложению и проверке новых алгоритмических решений. - Способность оркестровать конвейеры данных, которые масштабируются и отражают реальное разнообразие. - Понимание аппаратных ограничений и системных компромиссов для эффективности. - Тщательные и прозрачные экспериментальные практики.

Эти качества проявляются в исследованиях речи (Whisper, BASE TTS), моделирования языка (Scaling Laws, phi-3), специализированного аппаратного обеспечения (TPU, Transformers are SSMs) и новых методов представления (VQ-VAE, FSQ, SoundStream). Сбалансировав эти атрибуты — строгую математику, инновационные алгоритмы, крупномасштабную инженерию данных, оптимизацию с учетом аппаратного обеспечения и воспроизводимые эксперименты — исследователи могут добиться значимых, заслуживающих доверия достижений в области фундаментального глубокого обучения.

## ОСНОВОПОЛАГАЮЩИЕ СТАТЬИ

Описание этой вакансии было сгенерировано на основе анализа следующих статей:

- Robust Speech Recognition via Large-Scale Weak Supervision (arXiv:2212.04356)

- Moshi: a speech-text foundation model for real-time dialogue (arXiv:2410.00037)

- Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (arXiv:2403.03206)

- Scaling Laws for Neural Language Models (arXiv:2001.08361)

- BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data (arXiv:2402.08093)

- In-Datacenter Performance Analysis of a Tensor Processing Unit (arXiv:1704.04760)

- Neural Discrete Representation Learning (arXiv:1711.00937)

- SoundStream: An End-to-End Neural Audio Codec (arXiv:2107.03312)

- Finite Scalar Quantization: VQ-VAE Made Simple (arXiv:2309.15505)

- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone (arXiv:2404.14219)

- Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (arXiv:2405.21060)

Уведомление: Мы осведомлены о лицах, выдающих себя за рекрутеров Deepgram. Вся легитимная корреспонденция по найму от Deepgram осуществляется с адреса электронной почты @deepgram.com. Если вы получили сообщение, якобы от Deepgram, перешлите его по адресу контакт рекрутера.