О вакансии
Together AI разрабатывает лучшую инфраструктуру инференса для голосовых приложений. Наша платформа Voice AI обеспечивает работу производственных, реального времени голосовых агентов и приложений — обслуживая модели преобразования речи в текст (speech-to-text) и текста в речь (text-to-speech) с лучшей в своем классе задержкой и надежностью.
Мы ищем старшего инженера машинного обучения для управления слоем обслуживания моделей для голосовых нагрузок. Вы будете работать непосредственно с движками инференса, такими как TRT-LLM и SGLang, чтобы оптимизировать то, как мы обслуживаем модели, такие как Whisper, Parakeet, Orpheus и Kokoro — расширяя границы задержки и пропускной способности. Вы будете профилировать использование GPU, разрабатывать стратегии пакетной обработки для потокового аудио и обеспечивать быстрое внедрение новых архитектур моделей из исследований в продакшн.
Это ключевая позиция в небольшой, высокоэффективной команде. Голосовой инференс имеет уникальные проблемы — потоковое аудио, токенизация, бюджеты задержки реального времени — которые требуют специального фокуса инженерии машинного обучения. Вы определите, как Together обслуживает голосовые модели, поскольку отрасль переходит от конвейерных архитектур (ASR → LLM → TTS) к сквозному преобразованию речи в речь.
- Отвечать за стек обслуживания моделей, который обеспечивает работу платформы Together для голосовых приложений (STT, TTS и преобразование речи в речь).
- Работать напрямую с современными ускорителями (H100, H200, B200) для оптимизации инференса голосовых моделей.
- Сотрудничать с партнерами по моделям (Cartesia, Deepgram, Rime и другими) для внедрения их моделей в продакшн на инфраструктуре Together.
- Создавать фреймворки оценки качества, которые направляют выбор моделей для клиентов и формируют дорожную карту.
- Присоединиться к небольшой команде на ранней стадии с огромным влиянием на быстрорастущую область продукта.
Обязанности
- Оптимизация производительности инференса для голосовых моделей (STT, TTS, преобразование речи в речь) — с целью достижения лучшего в своем классе времени до первого байта (TTFB), пропускной способности и утилизации GPU для нашего набора курируемых моделей.
- Внедрение голосовых моделей в продакшн на бессерверных и выделенных конечных точках, включая стратегии пакетной обработки, потоковый инференс и управление памятью, адаптированные для аудио-нагрузок.
- Создание и поддержка фреймворка оценки голосовых моделей — измерение WER (Word Error Rate) для различных акцентов, языков и условий шума для STT; естественность, задержка и точность произношения для TTS.
- Обеспечение поддержки новых архитектур моделей в нашем стеке обслуживания по мере развития области, включая аудио-ориентированные LLM, модели на основе кодеков (SNAC) и системы преобразования речи в речь.
- Сотрудничество с партнерами по моделям для интеграции и оптимизации их моделей (Cartesia, Deepgram, Rime и других), работающих на инфраструктуре Together.
- Профилирование и отладка производительности всего стека инференса — от GPU-ядер до узких мест на уровне фреймворка — и достижение измеримых улучшений.
- Взаимодействие с командой разработки платформы для обеспечения соответствия слоя обслуживания требованиям к задержке и надежности API для голосовых приложений реального времени.
- Вклад в возможности дообучения (fine-tuning) голосовых моделей (STT и TTS) по мере того, как мы позволяем клиентам создавать дифференцированные голосовые решения на Together.
- Создание основы для нескольких новых продуктов в будущем.
Требования
- 5+ лет опыта работы инженером машинного обучения, с акцентом на обслуживание моделей, оптимизацию инференса или ML-инфраструктуру.
- Практический опыт работы с движками обслуживания LLM (vLLM, SGLang, TensorRT-LLM или аналогичными) — уверенное чтение и модификация внутренних частей движка, а не только использование API.
- Глубокое знание Python и PyTorch; опыт профилирования и оптимизации GPU (CUDA, управление памятью, отладка на уровне ядра).
- Подтвержденный опыт внедрения ML-систем в продакшн с измеримыми улучшениями производительности.
- Сильное продуктовое видение — вы думаете о том, что на самом деле нужно разработчикам голосовых приложений, а не только о том, что технически интересно.
- Готовность работать в небольшой команде на ранней стадии, где вам придется выполнять множество задач и быстро двигаться.
- Опыт работы с речью и аудио ML (ASR, архитектуры TTS, обработка аудиосигналов) является большим плюсом, но не обязателен — вы сможете быстро этому научиться, если у вас прочные фундаментальные знания в области ML-инженерии.
- Знакомство с аудиокодеками и схемами токенизации (SNAC, EnCodec, DAC) является плюсом.
- Опыт обучения или дообучения (fine-tuning) речевых моделей является плюсом.
- Степень бакалавра или магистра в области компьютерных наук, электротехники или смежной области, или эквивалентный практический опыт.
О Together AI
Together AI, AI Native Cloud, создан специально для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, дообучение и обучение с подкреплением для создания специализированных моделей передового уровня, а также предварительное обучение в огромных масштабах для полностью кастомного интеллекта — и все это на основе маркетплейса ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть ими. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.
Компенсация
Мы предлагаем конкурентоспособную компенсацию, долю в стартапе, медицинскую страховку и другие конкурентоспособные льготы. Диапазон базовой заработной платы в США для этой полной позиции составляет: $200 000 - $260 000 + доля + льготы. Наши диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.
Равные возможности
Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предлагает равные возможности трудоустройства всем, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и т. д.
Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу
