RocketHuntУмный поиск работы
Deepgram
Лондон, Великобритания16 дней назад
О КОМПАНИИ
Deepgram — ведущая платформа, лежащая в основе развивающейся экономики Voice AI стоимостью триллион долларов, предоставляющая API в реальном времени для преобразования речи в текст (STT), текста в речь (TTS) и создания производственных голосовых агентов в масштабе. Более 200 000 разработчиков и более 1300 организаций создают голосовые решения, работающие на Deepgram («Powered by Deepgram»), включая Twilio, Cloudflare, Sierra, Decagon, Vapi, Daily, Cresta, Granola и Jack in the Box. Основополагающие модели Deepgram для работы с голосом доступны через облачные API или в виде самостоятельно размещаемого и локального программного обеспечения, отличающиеся непревзойденной точностью, низкой задержкой и экономической эффективностью. При поддержке недавнего раунда финансирования Серии C, возглавляемого ведущими мировыми инвесторами и стратегическими партнерами, Deepgram обработала более 50 000 лет аудио и транскрибировала более 1 триллиона слов. Ни одна организация в мире не понимает голос лучше, чем Deepgram.
ОПЕРАЦИОННЫЙ РИТМ КОМПАНИИ
В Deepgram мы ожидаем мышления, ориентированного на ИИ — использование и комфортное владение ИИ не являются опцией, они являются основой того, как мы работаем, внедряем инновации и оцениваем производительность.
От каждого члена команды, работающего в Deepgram, ожидается активное использование и экспериментирование с передовыми инструментами ИИ, и даже их интеграция в повседневную работу. Мы измеряем, насколько эффективно применяется ИИ для достижения результатов, и последовательное, творческое использование новейших возможностей ИИ является ключом к успеху здесь. Кандидаты должны быть готовы быстро осваивать новые модели и подходы, интегрировать ИИ в свои рабочие процессы и постоянно расширять границы возможностей этих технологий.
Кроме того, мы движемся со скоростью ИИ. Изменения происходят быстро, и вы можете ожидать, что ваша повседневная работа будет развиваться так же быстро. Эта роль может не подойти вам, если вы не заинтересованы в экспериментах, адаптации, быстром принятии решений и постоянном обучении, или если вы ищете что-то строго регламентированное с традиционным рабочим днем с 9 до 5.
ВОЗМОЖНОСТЬ
Голос — это самый естественный способ взаимодействия человека с машиной. Однако текущие парадигмы моделирования последовательностей, основанные на совместном масштабировании моделей и данных, не могут обеспечить Voice AI, способный к универсальному человеческому взаимодействию. Проблемы коренятся в фундаментальных проблемах данных, связанных с аудио: реальные аудиоданные редки и чрезвычайно разнообразны, охватывая огромное пространство голосов, стилей речи и акустических условий. Даже если бы были доступны миллиарды часов аудио, его присущая высокая размерность создает вычислительные затраты и затраты на хранение, которые делают обучение и развертывание непомерно дорогими в мировом масштабе. Мы считаем, что для преодоления этих проблем и обеспечения доступности голосового взаимодействия для всех необходимы совершенно новые парадигмы для аудио ИИ.
РОЛЬ
В качестве члена исследовательского персонала вы будете пионером в разработке моделей латентного пространства (LSM), нового подхода, который направлен на решение фундаментальных проблем данных, масштаба и стоимости, связанных с созданием надежного, контекстуализированного Voice AI. Ваши исследования будут сосредоточены на решении одной или нескольких следующих проблем:
ВЫЗОВ
Мы ищем исследователей, которые:
Если вы чувствуете себя воодушевленным, а не напуганным этими ожиданиями — если вы уже думаете о пяти идеях, которые можно попробовать, читая это — вы можете быть тем исследователем, который нам нужен. Эта роль требует одержимости проблемами, креативности в подходе и неустанного стремления к элегантным, масштабируемым решениям. Технические проблемы огромны, но потенциальное воздействие трансформирующе.
ВАЖНО, ЧТОБЫ ВЫ ИМЕЛИ:
ИДЕАЛЬНЫЙ ПРОФИЛЬ ИССЛЕДОВАТЕЛЯ
Идеальный исследователь, как показали повторяющиеся темы в этих основополагающих статьях, преуспевает в пяти ключевых областях: (1) Статистические и математические основы, (2) Алгоритмические инновации и реализация, (3) Системы, управляемые данными, и масштабируемые системы, (4) Понимание аппаратного обеспечения и систем, и (5) Строгий дизайн экспериментов. Ниже приводится синтез того, как каждая статья освещает эти качества, со ссылками, иллюстрирующими, почему они важны для создания надежных, влиятельных моделей глубокого обучения.
Мастерство основных концепций
Многие статьи, такие как Scaling Laws for Neural Language Models и Neural Discrete Representation Learning (VQ-VAE), отражают важность анализа степенных законов, вывода новых функций потерь или адаптации фундаментальных уравнений (например, функции потерь приверженности VQ-VAE или выпрямленных потоков в Scaling Rectified Flow Transformers). Такая математическая основа проясняет, почему модели сходятся или терпят крах.
Новое сочетание существующих теорий
Статьи, такие как Moshi (объединяющая моделирование текста, аудиокодеки и иерархическое генеративное моделирование) и Finite Scalar Quantization (адаптация FSQ классической скалярной квантизации для замены векторно-квантованных представлений), показывают, как повторное использование, но переосмысление известных методов может привести к прорывам. Многие ссылки (например, структурированная дуальность пространства состояний в Трансформерах являются SSM) подчеркивают, как объединение ранее отдельных исследовательских направлений может выявить мощные алгоритмические или теоретические идеи.
Логическое рассуждение и проверка предположений
Во всех статьях — особенно в постановках задач Whisper или Rectified Flow Transformers — авторы представляют предположения (например, «масштабирование данных приводит к нулевой обобщающей способности» или «впрыскивание шума по прямой линии улучшает эффективность выборки») и систематически проверяют их с помощью тщательных эмпирических результатов. Идеальный исследователь аналогичным образом основывает новые идеи на хорошо сформулированных, проверяемых гипотезах.
Творческие решения известных узких мест
Каждая статья предлагает уникальный алгоритмический вклад — Rectified Flow Transformers переопределяют стандартные пути диффузии, FSQ предлагает более простую скалярную квантизацию по сравнению с VQ, phi-3 mini полагается на тщательно отобранные данные и блочно-разреженное внимание, а Mamba-2 объединяет скорость SSM с концепциями внимания.
Превращение теории в практику
Будь то прямое оптимизация по предпочтениям (DPO) для выравнивания в phi-3 или векторная остаточная квантизация в SoundStream, эти работы показывают, что объединение дизайнерских идей с реализуемыми прототипами имеет важное значение.
Четкое влияние через прототипы и открытый исходный код
Многие ссылки (Whisper, нейронное дискретное обучение представлений, Mamba-2) подчеркивают выпуск кода или предварительно обученных моделей, что позволяет более широкому сообществу воспроизводить и развивать новые методы. Эта предпосылка сотрудничества способствует более быстрому прогрессу.
Акцент на крупномасштабных данных и эффективных конвейерах
Статьи, такие как Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) и BASE TTS, демонстрируют, что сбор и обработка сотен тысяч часов реальных аудиоданных могут открыть новые возможности в областях нулевой или малоресурсной работы. Между тем, phi-3 Technical Report показывает, что фильтрация и курирование данных в масштабе (например, «режим оптимальных данных») могут обеспечить высокую производительность даже для меньших моделей.
Стратегическое использование данных для поэтапного обучения
Повторяющаяся стратегия заключается в изменении источников данных или порядка задач. Whisper обучается на многоязычных задачах, BASE TTS использует подмножества/этапы для предварительного обучения на речевых токенах, а phi-3 развертывает несколько фаз обучения (веб-данные, затем синтетические данные). Этот систематический подход к данным подчеркивает, как идеальный исследователь разрабатывает учебные программы и протоколы фильтрации данных для максимальной производительности.
Эффективные реализации в масштабе
Многие работы иллюстрируют, как исследователи настраивают архитектуры для современных ускорителей: статья In-Datacenter TPU иллюстрирует проектирование аппаратного обеспечения для конкретных областей для плотных матричных умножений, в то время как phi-3 использует блочно-разреженное внимание и пользовательские ядра Triton для запуска продвинутых LLM на устройствах с ограниченными ресурсами.
Ограничения реального времени и на устройстве
SoundStream показывает, как сжимать аудио в реальном времени на ЦП смартфона, демонстрируя, что знание аппаратных ограничений (задержка, ограниченная память) определяет выбор дизайна. Аналогично, низкая задержка потокового TTS Moshi и работа phi-3-mini на телефоне подчеркивают, что идеальный исследователь должен адаптировать алгоритмы к ограничениям ресурсов, сохраняя при этом надежность.
Архитектурные детали и детали оптимизации
Статьи, такие как Mamba-2 в Transformers are SSMs и работа In-Datacenter TPU, показывают, как использование специализированного матричного разложения, пользовательских иерархий памяти или подходов к квантизации может привести к прорывам в скорости или энергоэффективности.
Контролируемые сравнения и абляции
Почти все статьи — Whisper, FSQ, Mamba-2, BASE TTS — используют систематические абляции для изоляции влияния отдельных компонентов (например, абляция векторной квантизации по сравнению со скалярной квантизацией в FSQ или размер кодовых книг в VQ-VAEs). Этот подход показывает, какие проектные решения действительно имеют значение.
Многочисленные метрики оценки
От прослушивающих тестов MUSHRA (SoundStream, BASE TTS) до FID в синтезе изображений (Scaling Rectified Flow Transformers, FSQ) до перплексии или обобщения без примеров в языке (phi-3, Scaling Laws for Neural Language Models), работы демонстрируют ценность комплексных, тщательно подобранных метрик.
Стресс-тесты и крайние случаи
Тесты Whisper на распределение вне распределения (out-of-distribution), оценка SoundStream на речь + музыку или производительность Mamba-2 на многопользовательское ассоциативное воспоминание демонстрируют важность специализированных наборов задач. Исследователи, которые создают или принимают строгие эталоны и «красное тестируют» свои модели (как в phi-3 safety alignment), лучше подготовлены к решению реальных сложностей.
РЕЗЮМЕ
В целом, идеальный исследователь в области глубокого обучения последовательно демонстрирует:
Эти качества проявляются в исследованиях речи (Whisper, BASE TTS), языкового моделирования (Scaling Laws, phi-3), специализированного оборудования (TPU, Transformers are SSMs) и новых методов представления (VQ-VAE, FSQ, SoundStream). Балансируя эти атрибуты — строгую математику, инновационные алгоритмы, крупномасштабную инженерию данных, оптимизацию с учетом аппаратного обеспечения и воспроизводимые эксперименты — исследователи могут добиться значимых, заслуживающих доверия достижений в области фундаментального глубокого обучения.
Примечание: Мы осведомлены о лицах, выдающих себя за рекрутеров Deepgram. Вся легитимная коммуникация по подбору персонала от Deepgram исходит с адреса электронной почты @deepgram.com. Если вы получили сообщение, утверждающее, что оно от Deepgram, пожалуйста, перешлите его на контакт рекрутера.
Оценка RocketHunt по реальным зарплатам
Формат работы
Удаленно
Уровень английского
B2 - Выше среднего
ИИ напишет его по твоему резюме, останется только отправить
