Member of Technical Staff (AI Inference Engineer)

Должность: Member of Technical Staff (AI Inference Engineer) Компания: Perplexity Местоположение: Сан-Франциско / Пало-Альто / Нью-Йорк

Вознаграждение: $220 000 - $485 000 в год

Мы создаем и управляем инфраструктурой инференса, отвечающей за каждый запрос Perplexity, и разворачиваем десятки архитектур моделей в масштабе с жесткими ограничениями по задержке и стоимости. Наш стек — Rust, Python, CUDA и CuTe DSL — и нам нужен еще один инженер.

НАД ЧЕМ ВЫ БУДЕТЕ РАБОТАТЬ

Примеры реальной работы команды:

• Поддержка новых моделей. Поддержка трансформерных моделей поиска, генерации текста и мультимодальных моделей в нашей инфраструктуре инференса, от загрузки весов, планирования запросов и управления KV-кэшем до поддержки в API Gateway.

• Миграция GPU-ядер в CuTe DSL. Портирование наших внутренних CUDA-ядер в CuTe DSL от NVIDIA, чтобы они работали на GB200 сегодня и были переносимы на стойки Vera Rubin завтра.

• Собственный серверный рантайм на Rust. Разработка нашего внутреннего серверного инференса на базе Rust для решения всех проблем, связанных с Python, и для поддержания быстрорастущего трафика.

• Оптимизация производительности. Профилирование и устранение узких мест от сетевого ввода через непрерывную пакетную обработку и чередование GPU-ядер.

• Надежность и наблюдаемость. Создание дашбордов, оповещений и автоматизированного восстановления, чтобы мы могли выявлять регрессии до того, как их обнаружат пользователи. Реагирование на инциденты в продакшене и извлечение уроков из них.

КОГО МЫ ИЩЕМ

• Глубокий опыт работы с GPU-программированием и оптимизацией производительности (CUDA, Triton, CUTLASS или аналогичные). Любой другой опыт глубокого системного программирования будет плюсом.

• Вы понимаете современные архитектуры LLM и можете надежно развернуть их в производственной среде.

• Вы создавали и эксплуатировали распределенные системы в производственной среде под реальной нагрузкой — в идеале критически важные для производительности.

• Уверенная работа с различными языками и уровнями: Rust для серверного рантайма, Python для кода моделей, CUDA/CuteDSL для ядер.

• Вы решаете проблемы от начала до конца. Вы можете прочитать исследовательскую статью в понедельник, написать ядро в среду и отладить производственный инцидент в пятницу.

• Самостоятельность. Вы хорошо работаете в быстро меняющихся условиях, когда путь вперед не проложен для вас.

ХОРОШО, ЕСЛИ ВЫ ИМЕЛИ ДЕЛО С КАКИМ-ЛИБО ИЗ СЛЕДУЮЩЕГО

• ML-компиляторы и внутренние компоненты фреймворков: внутренние компоненты PyTorch, torch.compile, пользовательские операторы.

• Распределенная GPU-коммуникация: NCCL, NVLink, InfiniBand, библиотеки RDMA, параллелизм моделей/тензоров.

• Низкоточный инференс: квантование INT8/FP8/FP4, инференс со смешанной точностью.

• Инструменты профилирования и отладки: Nsight Compute/Systems, CUDA-GDB, анализ PTX/SASS.

• Оркестрация контейнеров: Kubernetes, планирование GPU, автомасштабирование инференс-нагрузок.

КВАЛИФИКАЦИЯ

• 3+ года профессионального опыта в разработке программного обеспечения со значительной работой над ML-инференсом или высокопроизводительными системами.

• Знакомство хотя бы с одним фреймворком глубокого обучения (PyTorch, JAX, TensorFlow).

• Понимание архитектур GPU (иерархия памяти, планирование варпов, тензорные ядра).

• Понимание распространенных архитектур LLM и методов оптимизации инференса (например, квантование, спекулятивное декодирование, разделение префиксного декодирования).