Applied ML Engineer - Edge Devices

Должность: Инженер прикладного машинного обучения — периферийные устройства Местоположение: США — Удаленно / Удаленно

Компенсация: 155 000 $ — 245 000 $ в год

О КОМПАНИИ

Deepgram — ведущая платформа, лежащая в основе развивающейся экономики Voice AI стоимостью в триллион долларов, предоставляющая API в реальном времени для преобразования речи в текст (STT), текста в речь (TTS) и создания масштабируемых голосовых агентов производственного уровня. Более 200 000 разработчиков и более 1300 организаций создают голосовые решения, работающие на платформе Deepgram («Powered by Deepgram»), включая Twilio, Cloudflare, Sierra, Decagon, Vapi, Daily, Cresta, Granola и Jack in the Box. Фундаментальные модели Deepgram для обработки голоса доступны через облачные API или в виде самостоятельного и локального программного обеспечения, отличающиеся непревзойденной точностью, низкой задержкой и экономической эффективностью. При поддержке недавнего раунда финансирования серии C под руководством ведущих мировых инвесторов и стратегических партнеров Deepgram обработала более 50 000 лет аудио и транскрибировала более 1 триллиона слов. В мире нет организации, которая понимала бы голос лучше, чем Deepgram.

РИТМ РАБОТЫ КОМПАНИИ

В Deepgram мы ожидаем мышления, ориентированного на ИИ — использование ИИ и комфорт работы с ним не являются необязательными, они являются основой того, как мы работаем, внедряем инновации и оцениваем производительность.

От каждого члена команды, работающего в Deepgram, ожидается активное использование и экспериментирование с передовыми инструментами ИИ, а также создание собственных инструментов для повседневной работы. Мы измеряем, насколько эффективно ИИ применяется для достижения результатов, и последовательное, творческое использование новейших возможностей ИИ является ключом к успеху здесь. Кандидаты должны быть готовы быстро осваивать новые модели и методы, интегрировать ИИ в свои рабочие процессы и постоянно расширять границы возможностей этих технологий.

Кроме того, мы движемся в темпе развития ИИ. Изменения происходят быстро, и вы можете ожидать, что ваша повседневная работа будет развиваться так же быстро. Эта роль может не подойти вам, если вы не заинтересованы в экспериментах, адаптации, быстром принятии решений на ходу и постоянном обучении, или если вы ищете что-то строго регламентированное с традиционным графиком с 9 до 5.

О РОЛИ

Модели распознавания речи Deepgram — одни из самых быстрых и точных в мире, и сегодня мы запускаем их в масштабе на графических процессорах NVIDIA. Наши клиенты все чаще нуждаются в тех же моделях на оборудовании, которое мы не контролируем: ускорители, не основанные на NVIDIA, периферийные серверы и встраиваемые платформы с собственными средами выполнения для инференса, наборами операторов и ограничениями. Задача состоит в том, чтобы перенести модели Deepgram на эти платформы с минимальными изменениями в модели и без изменений парадигмы оборудования.

В качестве инженера прикладного машинного обучения в команде Partner Platform Engineering вы находитесь на один уровень выше аппаратного обеспечения. Вы берете существующую модель Deepgram и адаптируете ее для корректной и эффективной работы в рамках существующей парадигмы ядра и среды выполнения целевой платформы: меняете или преобразуете операторы, настраиваете параметры архитектуры, выбираете схемы квантования и точности, а также проверяете точность и задержку на реальном устройстве. Там, где стандартного ядра недостаточно, вы работаете с нашими Embedded AI Engineers, которые пишут пользовательские ядра, и адаптируете модель под то, что они создают. Вы также отвечаете за процесс развертывания, который позволяет повторяемо переносить эти адаптированные модели на периферийные устройства.

Это не исследовательская роль и не роль обслуживания в облаке. Это прикладное машинное обучение для развертывания на периферийных устройствах. Это отличная возможность для старшего инженера, который уже развертывал модели на оборудовании, не основанном на GPU, или на периферийном оборудовании и хочет делать это на множестве платформ, или для инженера уровня Staff, который хочет определить, как Deepgram портирует модели распознавания речи на новое оборудование. Уровень будет установлен в соответствии с вашим опытом.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Портировать модели распознавания речи Deepgram на платформы, не основанные на NVIDIA, и на периферийные платформы, адаптируя структуру и параметры модели так, чтобы они работали в рамках существующего набора операторов, среды выполнения и ядер целевой платформы с минимальными изменениями.

• Принимать решения, касающиеся обслуживания моделей для периферийных устройств: выбор схем квантования и точности, замена операторов, переписывание графов, изменения архитектуры, которые соответствуют ограничениям устройства, сохраняя при этом точность и задержку.

• Проверять каждый порт на реальном оборудовании: создавать эталонные показатели точности, задержки, пропускной способности и использования памяти для каждой платформы и выявлять регрессии до того, как их обнаружит клиент.

• Создавать путь развертывания для периферийных устройств: упаковка моделей, конвейеры преобразования, управление версиями и автоматизированная доставка, чтобы перенос модели на новое устройство был повторяемым, а не индивидуальным.

• Работать с Embedded AI Engineers, когда стандартного ядра недостаточно: указывать, что требуется модели, а затем адаптировать модель для использования пользовательского ядра, которое они предоставляют.

• Сотрудничать с поставщиками платформ и кремниевых решений по их средам выполнения и инструментариям, а также преобразовывать их ожидаемый формат моделей и соглашения по операторам в работающее развертывание Deepgram.

• Передавать ограничения периферийных устройств обратно в отделы исследований (Research) и Impeller, чтобы будущие модели было легче портировать, не беря на себя исследовательскую или основную работу по производственной подготовке.

• По мере роста команды брать на себя смежные производственные задачи на периферии: автоматизированное развертывание, безопасность и целостность моделей на оборудовании клиента, а также наблюдаемость на уровне парка устройств.

ВАМ ПОНРАВИТСЯ ЭТА РОЛЬ, ЕСЛИ ВЫ

• Уже боролись за то, чтобы модель заработала на оборудовании, которое для нее не предназначалось, и хотите делать это на множестве платформ.

• Предпочитаете изменять модель, чтобы она соответствовала оборудованию, а не изменять оборудование, чтобы оно соответствовало модели, и знаете, когда какое решение является правильным.

• Заботитесь о показателях на устройстве, а не о показателях в блокноте.

• Любите быть связующим звеном между командой, пишущей ядра, и командой, обучающей модели.

• Хотите доставлять продукт клиентам, а не публиковать статьи.

ВАЖНО, ЧТОБЫ У ВАС БЫЛО

• Практический опыт развертывания ML-моделей на периферийном или не-NVIDIA оборудовании в производственной среде. Это обязательно. Опыт обслуживания только в облаке или только на GPU сам по себе не засчитывается.

• Рабочее знание компромиссов в отношении квантования и точности (INT8, FP16, смешанная точность, калибровка) и их влияния на точность и задержку на реальных устройствах.

• Опыт работы как минимум с одной периферийной или вендорской средой выполнения для инференса и ее инструментарием преобразования (например, ONNX Runtime, TFLite, ExecuTorch, OpenVINO, Qualcomm AI Engine или SDK вендора NPU).

• Способность модифицировать модель для соответствия платформе: чтение и переписывание графов моделей, замена неподдерживаемых операторов и настройка параметров архитектуры без потери точности.

• Отличное знание Python и PyTorch, а также навыки разработки производственного качества: тесты, воспроизводимость и эталонные показатели, которые другие могут повторить.

• Уверенность в создании автоматизации для преобразования и развертывания моделей.

• Мышление строителя и четкая коммуникация: вы можете оценить объем работы по портированию на незнакомой платформе и довести ее до измеримого результата.

БЫЛО БЫ ОТЛИЧНО, ЕСЛИ БЫ У ВАС БЫЛО

• Опыт работы с моделями распознавания речи, аудио или потоковыми/реального времени, в частности.

• Опыт написания или чтения низкоуровневых ядер (CUDA, Metal, NEON или код DSP вендора) на достаточном уровне для тесного сотрудничества со специалистами по встраиваемым системам.

• Опыт работы с безопасностью или целостностью моделей на развернутых устройствах: подписание, шифрованное хранение моделей, безопасные обновления.

• Знакомство с несколькими семействами ускорителей (Qualcomm, Apple, ARM, Intel, AMD или пользовательские NPU) и их особенностями.

• Опыт создания внутренних инструментов, которые заметно ускорили портирование или развертывание моделей.

Уведомление: Мы осведомлены о случаях выдачи себя за рекрутеров Deepgram. Вся законная переписка Deepgram по вопросам найма осуществляется с адреса электронной почты @deepgram.com. Если вы получили сообщение, якобы от Deepgram, перешлите его на контакт рекрутера.