Название: Machine Learning Engineer, Ops Компания: Cantina Labs Местоположение: Europe

О CANTINA:

Cantina Labs — это социальная ИИ-компания, разрабатывающая набор передовых моделей реального времени, которые расширяют границы выражения, индивидуальности и реализма. Мы оживляем персонажей, трансформируя способы рассказывания историй, общения и творчества людей. Мы создаем и поддерживаем экосистемы. Cantina, наша флагманская социальная ИИ-платформа, — это только начало.

Если вас увлекает потенциал ИИ в формировании человеческого творчества и социального взаимодействия, присоединяйтесь к нам в создании будущего!

О РОЛИ:

Мы ищем ML-инженера, который будет полностью отвечать за производственный стек инференса для наших моделей преобразования текста в речь (TTS) и распознавания речи (ASR). Наша исследовательская команда предоставляет обученные контрольные точки моделей; вы будете производить их в виде потоковых сервисов с низкой задержкой в реальном времени, которые эффективно работают на GPU. Эта роль охватывает движки инференса, инфраструктуру Kubernetes, на которой они работают, а также оценку производительности и валидацию точности, которые позволяют нам безопасно выпускать изменения. Вы будете связующим звеном между исследованиями и производством, а также будете отвечать за задержку, пропускную способность, стоимость и точность по мере масштабирования.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ:

• Создавать и оптимизировать потоковые движки инференса для моделей TTS и ASR, включая многоэтапные конвейеры моделей.
• Оптимизировать задержку (время до первого блока, p50/p99) и пропускную способность с использованием непрерывной пакетной обработки, CUDA Graphs, torch.compile и смешанной точности.
• Поддерживать численное соответствие эталонной реализации с помощью автоматических регрессионных тестов точности, для каждого этапа и в целом.
• Развертывать и эксплуатировать сервисы GPU-инференса на Kubernetes: автомасштабирование, контейнеризация и инфраструктура как код.
• Создавать CI/CD для артефактов моделей, с версионированием моделей и воспроизводимыми релизами.
• Отвечать за наблюдаемость и оценку производительности: p50/p99 задержка, реальный коэффициент времени (RTF), утилизация GPU и стоимость за запрос.
• Сотрудничать с исследовательской командой для вывода новых моделей в продакшн.

ЧТО ВЫ ПРИВНЕСЕТЕ:

• Практический опыт развертывания, масштабирования и оптимизации ML-моделей в продакшене, помимо потребления API моделей.
• Рабочее знание полного стека инференса, от CUDA-ядер до фреймворков обслуживания, с глубокими знаниями в некоторых слоях; экспертиза во всех из них не ожидается.
• Оптимизация производительности GPU: профилирование (Nsight Systems, PyTorch Profiler), пропускная способность памяти, синхронизация CPU-GPU.
• Глубокое понимание обслуживания моделей: непрерывная пакетная обработка, управление KV-кэшем, планирование запросов.
• Опыт работы с Kubernetes, CI/CD и облачной инфраструктурой.
• Отличное знание Python и PyTorch, а также строгий подход к оценке производительности.
• Опыт работы с моделями речи или аудио (TTS, ASR, преобразование голоса).
• Опыт работы с фреймворками инференса, такими как vLLM (vLLM-Omni), SGLang, TensorRT-LLM, TensorRT или Triton Inference Server.

КОМПЕНСАЦИЯ:

При определении компенсации будут учитываться различные факторы, включая навыки, опыт, объем работы, местоположение и данные о конкурентном рынке труда.

ЛЬГОТЫ ДЛЯ РОССИЙСКИХ РОЛЕЙ:

• Конкурентоспособная заработная плата и щедрые опционы компании
• Медицинская, стоматологическая и офтальмологическая страховка – 99,99% страховых взносов покрываются Cantina
• 42 дня оплачиваемого отпуска, включая:
  • 15 дней PTO
  • 10 дней больничного
  • 15 официальных праздников
  • 2 плавающих праздника
• Щедрый родительский отпуск и поддержка в вопросах фертильности
• План пенсионных накоплений 401(k)
• Счет для расходов на образ жизни — 500 долларов США в месяц, которые можно использовать по вашему усмотрению
• Бесплатные обеды и закуски для сотрудников в офисе
• Членство в One Medical и многое другое!