Research Staff, Voice AI Foundations [Remote]

Должность: Научный сотрудник, основы голосового ИИ [Удаленно] Местоположение: Австралия - Мельбурн / Удаленно

## О КОМПАНИИ

Deepgram — ведущая платформа, лежащая в основе развивающейся экономики голосового ИИ стоимостью в триллион долларов, предоставляющая API реального времени для преобразования речи в текст (STT), текста в речь (TTS) и создания производственных голосовых агентов в масштабе. Более 200 000 разработчиков и более 1300 организаций создают голосовые решения, работающие на Deepgram, включая Twilio, Cloudflare, Sierra, Decagon, Vapi, Daily, Cresta, Granola и Jack in the Box. Фундаментальные модели Deepgram для голосовых приложений доступны через облачные API или как программное обеспечение для самостоятельной установки и локального использования, обеспечивая беспрецедентную точность, низкую задержку и экономическую эффективность. При поддержке недавнего раунда финансирования Серии C, возглавляемого ведущими мировыми инвесторами и стратегическими партнерами, Deepgram обработала более 50 000 лет аудио и транскрибировала более 1 триллиона слов. Ни одна организация в мире не понимает голос лучше, чем Deepgram.

## РИТМ РАБОТЫ КОМПАНИИ

В Deepgram мы ожидаем подхода, ориентированного на ИИ — использование ИИ и комфорт при работе с ним не являются опцией, они лежат в основе того, как мы работаем, внедряем инновации и измеряем производительность.

От каждого члена команды, работающего в Deepgram, ожидается активное использование и экспериментирование с передовыми инструментами ИИ, и даже их интеграция в повседневную работу. Мы измеряем, насколько эффективно применяется ИИ для достижения результатов, и постоянное, креативное использование новейших возможностей ИИ является ключом к успеху здесь. Кандидаты должны быть готовы быстро осваивать новые модели и методы, интегрировать ИИ в свои рабочие процессы и постоянно расширять границы возможностей этих технологий.

Кроме того, мы движемся со скоростью развития ИИ. Изменения происходят стремительно, и вы можете ожидать, что ваша повседневная работа будет развиваться столь же быстро. Эта роль может не подойти вам, если вы не заинтересованы в экспериментах, адаптации, быстром принятии решений и постоянном обучении, или если вы ищете нечто строго регламентированное и с традиционным графиком работы с 9 до 5.

## ВОЗМОЖНОСТЬ

Голос — это наиболее естественный способ взаимодействия человека с машиной. Однако современные парадигмы моделирования последовательностей, основанные на совместном масштабировании моделей и данных, не могут обеспечить голосовой ИИ, способный к универсальному человеческому взаимодействию. Проблемы коренятся в фундаментальных проблемах данных, связанных с аудио: реальные аудиоданные редки и чрезвычайно разнообразны, охватывая огромное пространство голосов, стилей речи и акустических условий. Даже если бы были доступны миллиарды часов аудио, его внутреннее высокое измерение создает вычислительные затраты и затраты на хранение, которые делают обучение и развертывание непомерно дорогими в мировом масштабе. Мы считаем, что для преодоления этих проблем и обеспечения доступности голосового взаимодействия для всех необходимы совершенно новые парадигмы аудио ИИ.

## ДОЛЖНОСТЬ

В качестве научного сотрудника вы будете пионером в разработке моделей латентного пространства (LSM), нового подхода, направленного на решение фундаментальных проблем данных, масштаба и затрат, связанных с созданием надежного, контекстуализированного голосового ИИ. Ваше исследование будет сосредоточено на решении одной или нескольких из следующих проблем:

- Создание нейронных аудиокодеков следующего поколения, которые обеспечивают экстремальное сжатие с низкой скоростью передачи бит и высококачественное восстановление на основе корпуса общих аудиоданных мирового масштаба.

- Пионерская разработка управляемых генеративных моделей, которые могут синтезировать все многообразие человеческой речи из латентного представления кодека, от непринужденного разговора до выраженных эмоциональных проявлений и сложных сценариев с несколькими говорящими, с фоновым шумом и наложением речи.

- Разработка систем встраивания (embedding systems), которые четко разделяют латентное пространство кодека на интерпретируемые измерения говорящего, контента, стиля, окружения и эффектов канала — обеспечивая точный контроль над каждым аспектом и возможность массово усилить существующий исходный набор данных посредством «латентной рекомбинации».

- Использование латентной рекомбинации для генерации синтетических аудиоданных в ранее недостижимых масштабах, открывая парадигмы совместного масштабирования моделей и данных для аудио. Прилагать усилия для обучения мультимодальных систем преобразования речи в речь, которые могут 1) понимать любого человека независимо от его демографических данных, состояния или окружения, и 2) генерировать эмпатичные, человекоподобные ответы, достигающие целей разговорного или ориентированного на задачу взаимодействия.

- Проектирование архитектур моделей, схем обучения и алгоритмов вывода, адаптированных для оборудования на низком уровне, что обеспечивает экономически эффективное обучение на наборах данных объемом в миллиарды часов и поддерживает вывод в реальном времени для сотен миллионов одновременных разговоров.

## ВЫЗОВ

Мы ищем исследователей, которые:

- Рассматривают «нерешенные» проблемы как возможности для пионерской разработки совершенно новых подходов.

- Могут определить один критический эксперимент, который подтвердит или опровергнет идею за дни, а не месяцы.

- Обладают видением для масштабирования успешных концепций в 100 раз.

- Одержимы использованием ИИ для автоматизации и расширения своего влияния.

Если вы чувствуете прилив сил, а не замешательство от этих ожиданий — если вы уже обдумываете пять идей для реализации, читая это — возможно, вы тот исследователь, который нам нужен. Эта роль требует одержимости проблемами, креативности в подходе и неустанного стремления к элегантным, масштабируемым решениям. Технические проблемы огромны, но потенциальное влияние преобразует мир.

## ВАЖНО, ЧТОБЫ ВЫ ИМЕЛИ

- Прочный математический фундамент в теории статистического обучения, особенно в областях, связанных с самообучением и мультимодальным обучением.

- Глубокую экспертизу в архитектурах фундаментальных моделей с пониманием того, как масштабировать обучение по нескольким модальностям.

- Подтвержденную способность сочетать теорию и практику — человека, который может как выводить новые математические формулировки, так и эффективно их реализовывать.

- Продемонстрированную способность создавать конвейеры данных (data pipelines), которые могут обрабатывать и курировать огромные наборы данных, поддерживая качество и разнообразие.

- Опыт разработки контролируемых экспериментов, которые изолируют влияние архитектурных инноваций и проверяют теоретические выводы.

- Опыт оптимизации моделей для реального развертывания, включая знание аппаратных ограничений и методов повышения эффективности.

- Историю вклада в open-source или научных публикаций, которые продвинули состояние искусства в области речевого/языкового ИИ.

## ИДЕАЛЬНЫЙ ПРОФИЛЬ ИССЛЕДОВАТЕЛЯ

Идеальный исследователь, как видно из повторяющихся тем в этих фундаментальных работах, преуспевает в пяти ключевых областях: (1) Статистические и математические основы, (2) Алгоритмические инновации и реализация, (3) Масштабируемые системы, основанные на данных, (4) Понимание аппаратного обеспечения и систем, и (5) Строгий экспериментальный дизайн. Ниже представлен синтез того, как каждая работа подчеркивает эти качества, со ссылками, иллюстрирующими их значение для создания надежных, влиятельных моделей глубокого обучения.

### 1. СТАТИСТИЧЕСКИЕ И МАТЕМАТИЧЕСКИЕ ОСНОВЫ

**Мастерство ключевых концепций**

Многие работы, такие как Scaling Laws for Neural Language Models и Neural Discrete Representation Learning (VQ-VAE), отражают важность анализа степенных законов, вывода новых функций потерь или адаптации фундаментальных уравнений (например, функция потерь приверженности VQ-VAE или выпрямленные потоки в Scaling Rectified Flow Transformers). Такая математическая основа проясняет, почему модели сходятся или коллапсируют.

**Комбинирование существующих теорий новыми способами**

Работы, такие как Moshi (комбинирование моделирования текста, аудиокодеков и иерархического генеративного моделирования) и Finite Scalar Quantization (адаптация FSQ классического скалярного квантования для замены векторно-квантованных представлений), показывают, как повторное использование, но переосмысление известных методов может привести к прорывам. Многие ссылки (например, двойственность структурированного пространственного состояния в Transformers as SSMs) подчеркивают, как объединение ранее раздельных исследовательских линий может выявить мощные алгоритмические или теоретические выводы.

**Логическое рассуждение и проверка предположений**

Во всех работах — особенно в постановках задач Whisper или Rectified Flow Transformers — авторы представляют предположения (например, «масштабирование данных приводит к нулевой робастности» или «прямая инжекция шума улучшает эффективность выборки») и систематически проверяют их с помощью тщательных эмпирических результатов. Идеальный исследователь таким же образом обосновывает новые идеи хорошо сформулированными, проверяемыми гипотезами.

### 2. АЛГОРИТМИЧЕСКИЕ ИННОВАЦИИ И РЕАЛИЗАЦИЯ

**Креативные решения известных узких мест**

Каждая работа представляет уникальный алгоритмический вклад — Rectified Flow Transformers переопределяет стандартные пути диффузии, FSQ предлагает более простое скалярное квантование по сравнению с VQ, phi-3 mini полагается на курированные данные и блочно-разреженное внимание, а Mamba-2 объединяет скорость SSM с концепциями внимания.

**Превращение теории в практику**

Будь то прямое оптимизация по предпочтению (DPO) для выравнивания в phi-3 или остаточное векторное квантование (residual vector quantization) в SoundStream, эти работы показывают, что сочетание дизайнерских идей с реализуемыми прототипами имеет важное значение.

**Четкое влияние через прототипы и Open-Source**

Многие ссылки (Whisper, neural discrete representation learning, Mamba-2) подчеркивают выпуск кода или предварительно обученных моделей, что позволяет более широкому сообществу воспроизводить и строить на основе новых методов. Эта предпосылка сотрудничества способствует более быстрому прогрессу.

### 3. МАСШТАБИРУЕМЫЕ СИСТЕМЫ, ОСНОВАННЫЕ НА ДАННЫХ

**Акцент на крупномасштабных данных и эффективных конвейерах**

Работы, такие как Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) и BASE TTS, демонстрируют, что сбор и обработка сотен тысяч часов реального аудио могут открыть новые возможности в областях с нулевым ресурсом или ограниченными ресурсами. Между тем, Phi-3 Technical Report показывает, что фильтрация и курирование данных в масштабе (например, «оптимальный режим данных») могут привести к высокой производительности даже у меньших моделей.

**Стратегическое использование данных для поэтапного обучения**

Распространенной стратегией является варьирование источников данных или порядка задач. Whisper обучается на многоязычных задачах, BASE TTS использует подмножества/этапы для предварительного обучения на речевых токенах, а phi-3 развертывает несколько фаз обучения (веб-данные, затем синтетические данные). Такой систематический подход к данным подчеркивает, как идеальный исследователь разрабатывает учебные программы и протоколы фильтрации данных для максимальной производительности.

### 4. ПОНИМАНИЕ АППАРАТНОГО ОБЕСПЕЧЕНИЯ И СИСТЕМ

**Эффективная реализация в масштабе**

Многие работы иллюстрируют, как исследователи настраивают архитектуры для современных ускорителей: статья In-Datacenter TPU иллюстрирует дизайн специализированного оборудования для плотных матричных умножений, в то время как phi-3 использует блочно-разреженное внимание и пользовательские ядра Triton для запуска продвинутых LLM на устройствах с ограниченными ресурсами.

**Ограничения реального времени и на устройстве**

SoundStream показывает, как сжимать аудио в реальном времени на процессоре смартфона, демонстрируя, что знание аппаратных ограничений (задержка, ограниченная память) влияет на выбор дизайна. Аналогично, низкозадержечный потоковый TTS Moshi и вывод phi-3-mini на телефоне подчеркивают, что идеальный исследователь должен адаптировать алгоритмы к ограничениям ресурсов, сохраняя при этом надежность.

**Детали архитектуры и оптимизации**

Работы, такие как Mamba-2 в Transformers are SSMs и In-Datacenter TPU, показывают, как использование специализированного матричного разложения, пользовательских иерархий памяти или подходов к квантованию может привести к прорывам в скорости или энергоэффективности.

### 5. СТРОГИЙ ЭКСПЕРИМЕНТАЛЬНЫЙ ДИЗАЙН

**Контролируемые сравнения и абляции**

Почти все работы — Whisper, FSQ, Mamba-2, BASE TTS — используют систематические абляции для изоляции влияния отдельных компонентов (например, абляция векторного квантования против скалярного квантования в FSQ, или размер кодовых книг в VQ-VAE). Этот подход выявляет, какие проектные решения действительно имеют значение.

**Многофакторные метрики оценки**

От прослушивающих тестов MUSHRA (SoundStream, BASE TTS) до FID в генерации изображений (Scaling Rectified Flow Transformers, FSQ) до перплексии или обобщения в нулевом доступе в языке (phi-3, Scaling Laws for Neural Language Models), работы демонстрируют ценность комплексных, тщательно подобранных метрик.

**Стресс-тесты и крайние случаи**

Бенчмарки Out-of-distribution от Whisper, оценка SoundStream на речи + музыке или производительность Mamba-2 в ассоциативной памяти с несколькими запросами демонстрируют важность специализированных наборов задач. Исследователи, которые создают или принимают строгие бенчмарки и «краснокомандно» тестируют свои модели (как в phi-3 safety alignment), лучше подготовлены к решению реальных сложностей.

## РЕЗЮМЕ

В целом, идеальный исследователь в области глубокого обучения последовательно демонстрирует:

- Прочное понимание теоретических и статистических принципов.

- Талант к предложению и проверке новых алгоритмических решений.

- Способность организовывать конвейеры данных, которые масштабируются и отражают реальное разнообразие.

- Осознание аппаратных ограничений и системных компромиссов для повышения эффективности.

- Тщательные и прозрачные методы экспериментирования.

Эти качества проявляются в исследованиях речи (Whisper, BASE TTS), моделирования языка (Scaling Laws, phi-3), специализированного оборудования (TPU, Transformers are SSMs) и новых методов представления (VQ-VAE, FSQ, SoundStream). Балансируя эти атрибуты — строгая математика, инновационные алгоритмы, крупномасштабная инженерия данных, оптимизация с учетом аппаратного обеспечения и воспроизводимые эксперименты — исследователи могут достигать влиятельных, заслуживающих доверия достижений в области фундаментального глубокого обучения.

## ОСНОВНЫЕ ПУБЛИКАЦИИ

Это описание вакансии было сгенерировано на основе анализа следующих работ:

- Robust Speech Recognition via Large-Scale Weak Supervision (arXiv:2212.04356)

- Moshi: a speech-text foundation model for real-time dialogue (arXiv:2410.00037)

- Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (arXiv:2403.03206)

- Scaling Laws for Neural Language Models (arXiv:2001.08361)

- BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data (arXiv:2402.08093)

- In-Datacenter Performance Analysis of a Tensor Processing Unit (arXiv:1704.04760)

- Neural Discrete Representation Learning (arXiv:1711.00937)

- SoundStream: An End-to-End Neural Audio Codec (arXiv:2107.03312)

- Finite Scalar Quantization: VQ-VAE Made Simple (arXiv:2309.15505)

- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone (arXiv:2404.14219)

- Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality (arXiv:2405.21060)

Примечание: Мы осведомлены о лицах, выдающих себя за рекрутеров Deepgram. Вся легитимная рекрутинговая коммуникация Deepgram осуществляется с адреса электронной почты @deepgram.com. Если вы получили сообщение, выдаваемое за сообщение от Deepgram, перешлите его на контакт рекрутера.