Embedded AI Engineer, On-Device Models

Компенсация: $219.3K - $274.1K в год

О КОМПАНИИ

Deepgram — ведущая платформа, лежащая в основе развивающейся экономики голосового ИИ стоимостью в триллион долларов, предоставляющая API реального времени для преобразования речи в текст (STT), текста в речь (TTS) и создания производственных голосовых агентов в масштабе. Более 200 000 разработчиков и более 1300 организаций создают голосовые решения, работающие на платформе Deepgram («Powered by Deepgram»), включая Twilio, Cloudflare, Sierra, Decagon, Vapi, Daily, Cresta, Granola и Jack in the Box. Фундаментальные модели Deepgram для голосовых приложений доступны через облачные API или как программное обеспечение для самостоятельного размещения и локального использования, отличающиеся непревзойденной точностью, низкой задержкой и экономической эффективностью. Опираясь на недавний раунд финансирования Серии C под руководством ведущих мировых инвесторов и стратегических партнеров, Deepgram обработала более 50 000 лет аудио и транскрибировала более 1 триллиона слов. В мире нет организации, которая понимала бы голос лучше, чем Deepgram.

РИТМ РАБОТЫ КОМПАНИИ

В Deepgram мы ожидаем, что сотрудники будут мыслить в первую очередь с точки зрения ИИ — использование ИИ и комфортное взаимодействие с ним не являются необязательными, они составляют основу того, как мы работаем, внедряем инновации и оцениваем производительность.

От каждого члена команды, работающего в Deepgram, ожидается активное использование и экспериментирование с передовыми инструментами ИИ, а также их интеграция в повседневную работу. Мы измеряем, насколько эффективно применяется ИИ для достижения результатов, и последовательное, творческое использование новейших возможностей ИИ является ключом к успеху здесь. Кандидаты должны быть готовы быстро осваивать новые модели и подходы, интегрировать ИИ в свои рабочие процессы и постоянно расширять границы того, на что способны эти технологии.

Кроме того, мы движемся в темпе развития ИИ. Изменения происходят быстро, и вы можете ожидать, что ваша повседневная работа будет так же быстро развиваться. Эта роль может вам не подойти, если вы не готовы экспериментировать, адаптироваться, быстро принимать решения и постоянно учиться, или если вы ищете что-то строго регламентированное и традиционное с 9 до 5.

О РОЛИ

Речевые модели Deepgram являются одними из самых быстрых и точных в мире, и у нас есть мощное оборудование для их работы на GPU NVIDIA. Нашим клиентам они нужны на всех остальных устройствах: на ускорителях, отличных от NVIDIA, встраиваемых SoC, мобильных процессорах, DSP и NPU, а также на специализированных устройствах с жесткими ограничениями по памяти, вычислительным мощности, тепловыделению и энергопотреблению. Когда стандартные ядра и среды выполнения целевой платформы не могут обеспечить достаточную производительность модели Deepgram, кто-то должен работать ниже них. Это ваша роль.

Будучи Embedded AI Engineer в команде Partner Platform Engineering, вы будете работать на самом низком уровне нашего периферийного стека. Вы будете писать и оптимизировать пользовательские ядра и операторы для конкретного оборудования, «сжимать» модели для устройств, выполнять квантование на стороне устройства и низкоуровневую оптимизацию на уровне ассемблера, что не под силу стандартным инструментариям. То, что вы создадите, вы передадите инженерам Applied ML, которые адаптируют модели Deepgram к вашим ядрам. Ваша работа делает новую аппаратную платформу жизнеспособной для Deepgram.

Эта роль отлично подходит для опытного встраиваемого инженера, который всю свою карьеру работал «близко к железу» и хочет применить свои знания в области голосового ИИ, или для инженера уровня Staff, который хочет определить, как модели Deepgram будут работать на новом кремнии. Уровень будет определен в соответствии с вашим опытом.

ЧЕМ ВЫ БУДЕТЕ ЗАНИМАТЬСЯ

• Писать и оптимизировать пользовательские ядра и операторы (C, C++, Rust и ассемблер платформы или его внутренние представления) для ускорителей, отличных от NVIDIA, встроенных SoC, DSP и NPU, где стандартный набор операторов поставщика недостаточен для моделей Deepgram.

• Отвечать за оптимизацию на стороне устройства: «сжатие» моделей для вычислительных блоков устройства посредством квантования, слияния операторов, организации памяти и компиляции, специфичной для архитектуры, для соответствия требованиям по задержке, памяти, энергопотреблению и тепловыделению.

• Интегрироваться с инструментариями NPU/DSP поставщиков и средами выполнения периферийных вычислений, расширяя их пользовательскими операторами, когда граф не отображается напрямую.

• Предоставлять ядра и компоненты среды выполнения в виде повторно используемых строительных блоков, на которые могут ориентироваться инженеры Applied ML при адаптации моделей, с четкими интерфейсами и задокументированными ограничениями.

• Создавать критически важный с точки зрения производительности код среды выполнения для встраиваемых сред, включая embedded Linux, bare-metal и RTOS.

• Устанавливать тестирование и валидацию для каждой платформы по таким параметрам, как задержка, точность, энергопотребление, объем памяти и утилизация, а также выявлять регрессии до их выпуска.

• Сотрудничать с поставщиками кремния и платформ по интеграции SDK и низкоуровневой оптимизации производительности для новых чипсетов и эталонных платформ.

• Передавать ограничения оборудования в команды Applied ML и Research, чтобы проектирование моделей было проще реализовать на целевых устройствах с ограничениями.

ВАМ ПОНРАВИТСЯ ЭТА РОЛЬ, ЕСЛИ ВЫ

• Испытываете глубокое удовлетворение от того, что большая модель работает на оборудовании, для которого она изначально не предназначалась, и при этом достигаете целевых показателей точности и задержки.

• Обращаетесь к профилировщику и руководству по ISA (синтаксису набора команд), прежде чем искать более мощный чип.

• Предпочитаете писать ядро, чем ждать, пока его выпустит поставщик.

• Заботитесь о деталях, которые не проявляются в облачных бенчмарках: время холодного старта, энергопотребление, тепловыделение, фрагментация памяти, поведение кэша.

• Предпочитаете сложные, ограниченные, требующие выпуска проблемы, а не открытые исследования.

• Заботитесь о деталях, которые не проявляются в облачных бенчмарках: время холодного старта, энергопотребление, тепловыделение и фрагментация памяти.

ВАЖНО, ЧТОБЫ У ВАС БЫЛ

• Опыт создания производственных систем на оборудовании с ограниченными ресурсами — встраиваемые системы, мобильные устройства, периферийный ИИ или маломощные устройства.

• Глубокие знания C, C++ и/или Rust, а также опыт написания критически важного с точки зрения производительности кода для ограниченных сред.

• Практический опыт оптимизации моделей для развертывания на устройствах, включая квантование, обрезку (pruning), дистилляцию знаний (knowledge distillation) или компиляцию, специфичную для архитектуры.

• Знакомство со средами выполнения периферийных вычислений (например, ONNX Runtime, TensorRT, TFLite, ExecuTorch) и/или инструментариями NPU/DSP поставщиков.

• Глубокое понимание взаимодействия аппаратного и программного обеспечения — архитектуры CPU/GPU/NPU/DSP, иерархии памяти, целочисленной арифметики с фиксированной точкой и управления питанием — и того, как они влияют на производительность инференса.

• Опыт работы «близко к железу»: bare-metal или RTOS (например, FreeRTOS, Zephyr), embedded Linux или разработка микроконтроллеров и периферийных SoC.

• Сильные навыки общения и склад ума разработчика — вы можете определить неоднозначную проблему оптимизации, довести ее до измеримого результата и четко объяснить компромиссы.

БЫЛО БЫ ЗДОРОВО, ЕСЛИ БЫ ВЫ ИМЕЛИ

• Опыт обработки аудио в реальном времени на встраиваемых платформах — конвейеры DSP, оптимизация аудиокодеков, обработка ключевых слов (wake-word) или постоянное прослушивание, или потоковый инференс на микроконтроллерах и периферийных SoC.

• Глубокие знания методов оптимизации ML — пользовательские схемы квантования, инференс со смешанной точностью (mixed-precision inference) или поиск нейронной архитектуры для периферийных устройств.

• Опыт оценки и тестирования оборудования — систематическое сравнение ускорителей, SoC или GPU для конкретных профилей рабочих нагрузок.

• Опыт выпуска функций ИИ в потребительских продуктах в масштабе и понимание того, что такое «производственное качество» на устройстве с батарейным питанием.

• Знакомство с инструментариями компиляции и оптимизации моделей и их компромиссами для различных аппаратных целей.

• Опыт безопасного, надежного развертывания на устройствах — подписание кода, шифрованное хранение моделей и безопасные механизмы обновления.

Уведомление: Нам известно о случаях, когда люди выдают себя за рекрутеров Deepgram. Вся легитимная переписка по подбору персонала от Deepgram осуществляется с адреса электронной почты @deepgram.com. Если вы получили сообщение от имени Deepgram, пожалуйста, перешлите его на контакт рекрутера.