Заголовок: Старший инженер по машинному обучению, оптимизация инференса LLM Местоположение: Пало-Альто, Калифорния, США Департамент: ML

О Nebius:

Nebius возглавляет новую эру в облачной инфраструктуре для глобальной экономики ИИ. Мы создаем полностековую облачную платформу для ИИ, которая поддерживает разработчиков и предприятия на всех этапах — от обработки данных и обучения моделей до развертывания в продакшене, — устраняя затраты и сложности, связанные с созданием крупной внутренней инфраструктуры для ИИ/ML.

Создано инженерами для инженеров. От крупномасштабной оркестрации GPU до оптимизации инференса — мы решаем сложные задачи в области вычислений, хранения данных, сетевого взаимодействия и прикладного ИИ.

Мы представлены на Nasdaq (NBIS) и имеем штаб-квартиру в Амстердаме, нашу глобальную сеть составляют R&D-центры в Европе, Великобритании, Северной Америке и Израиле. В нашей команде из более чем 1500 человек — сотни инженеров с глубокой экспертизой в области аппаратного и программного обеспечения, а также исследований и разработок в сфере ИИ.

Роль

В качестве Старшего инженера по машинному обучению в команде Applied AI в Nebius Token Factory вы будете отвечать за оптимизацию моделей и конечных точек, начиная от артефактов модели и заканчивая развертыванием в продакшене. Ваша работа будет охватывать внутренние компоненты модели, квантизацию и сжатие моделей, спекулятивное декодирование, оптимизацию KV-кэша, движки инференса, архитектуру обслуживания и бенчмаркинг для улучшения задержки, пропускной способности, эффективности использования памяти, утилизации GPU и стоимости за токен, сохраняя при этом качество и надежность модели.

Вы будете работать с инженерами по разработке ядер и платформ для исследования проблем обслуживания, сравнения конфигураций и устранения регрессий производительности и качества. Вы будете оценивать оптимизации на уровне моделей и движков вместе с распределенными схемами инференса, включая маршрутизацию запросов, планирование, координацию префил/декодирования и выполнение на нескольких узлах GPU. Ваши улучшения будут проверены с помощью воспроизводимых бенчмарков и безопасных развертываний в продакшене при реальных рабочих нагрузках.

Ваши обязанности:

• Руководить проектами по оптимизации для конкретных семейств моделей, клиентских конечных точек или серверных бэкендов.
• Сравнивать движки инференса и рекомендовать практичные конфигурации обслуживания, соответствующие индивидуальным рабочим нагрузкам.
• Диагностировать регрессии качества модели и производительности при развертывании в продакшене.
• Улучшать задержку, пропускную способность, эффективность использования памяти, утилизацию GPU, качество и стоимость за токен для конечных точек LLM и VLM.
• Развертывать, настраивать, тестировать и расширять движки инференса, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.
• Разрабатывать рабочие процессы сжатия моделей для продакшена, охватывающие квантизацию, обучение с учетом квантизации, дистилляцию, обслуживание с низким битрейтом и восстановление точности.
• Реализовывать или интегрировать спекулятивное декодирование, подходы с использованием черновиковых моделей, оптимизацию KV-кэша, префиксное кэширование, пакетную обработку с добавлением, непрерывную пакетную обработку и распределенное обслуживание префил/декодирования. Для распределения префил/декодирования (PDD) оценивать передачу KV-кэша, размещение рабочих элементов и балансировку емкости, чтобы определить, какие рабочие нагрузки выигрывают от этой архитектуры.
• Проектировать и улучшать маршрутизаторы запросов LLM и политики планирования, которые балансируют очереди утилизации рабочих элементов, характеристики запросов и локальность KV-кэша, одновременно соответствуя целевым показателям задержки и надежности.
• Масштабировать инференс плотных моделей и моделей с экспертным смешением (mixture-of-experts) на нескольких узлах GPU. Выбирать и настраивать тензорный, конвейерный, параллелизм данных и экспертный параллелизм — включая широкий экспертный параллелизм (WideEP) — с учетом топологии аппаратного обеспечения, баланса нагрузки экспертов и накладных расходов на связь.
• Создавать воспроизводимые тестовые среды для измерения TTFT, TPOT, количества токенов в секунду на GPU, задержки p95/p99, использования памяти GPU, надежности и стоимости за токен. Проверять архитектурные решения при репрезентативном трафике и согласованных бюджетах GPU.
• Сотрудничать с инженерами по разработке GPU-ядер и инженерами платформ для отслеживания узких мест в коде моделей, ядрах, среде выполнения, планировщике, шлюзе и уровнях кластера.
• Готовить проектную документацию, отчеты о производительности, планы развертывания и технические объяснения для клиентов.

Обязательные требования:

• Сильные инженерные навыки в Python и PyTorch.
• Практический опыт развертывания или оптимизации LLM, VLM или высокопроизводительного инференса трансформеров.
• Практические знания как минимум одного современного стека инференса, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.
• Глубокое понимание узких мест при инференсе трансформеров, связанных с KV-кэшем, вниманием, пропускной способностью памяти, пакетной обработкой, параллелизмом и обслуживанием в условиях длинного контекста.
• Способность количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, утилизацией и стоимостью.
• Опыт проектирования или оптимизации архитектуры распределенных систем инференса с практическим опытом в одной или нескольких областях, таких как маршрутизация запросов, распределенное планирование, PDD, инференс на нескольких узлах или экспертный параллелизм.
• Отличные коммуникативные навыки и навыки сотрудничества с командами исследований, разработки ядер, инфраструктуры, продукта и клиентскими командами.

Желательные навыки:

• Опыт работы с обучением с учетом квантизации (quantization-aware training), пост-тренировочной квантизацией (post-training quantization), FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant.
• Опыт работы с дистилляцией, спекулятивным декодированием, EAGLE, Medusa, многотокеновым предсказанием или связанными методами ускорения инференса.
• Опыт поддержки агентских рабочих нагрузок, включающих вызов инструментов, структурированные выходные данные, потоковые API, высокую степень параллелизма и многоэтапную оркестрацию.
• Знакомство с CUDA или Triton; роль не требует, чтобы разработка ядер была основной специализацией кандидата.
• Вклад в open-source проекты, такие как vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.
• Опыт реализации кэш-ориентированной маршрутизации запросов, PDD или WideEP, включая диагностику узких мест в передаче данных и дисбаланс нагрузки.
• Знакомство с библиотеками и интерконнектами для связи GPU, такими как NCCL, NVLink, Infiniband или RoCE.

Основные льготы для сотрудников в США:

• Медицинская страховка: 100% покрытие медицинских, стоматологических и офтальмологических услуг компанией для сотрудников и их семей.
• Пенсионный план 401(k): До 4% софинансирования от компании с немедленным правом собственности.
• Отпуск по уходу за ребенком: 20 недель оплачиваемого отпуска для основных опекунов, 12 недель для вторичных опекунов.
• Компенсация удаленной работы: До $85/месяц на мобильную связь и интернет.
• Страхование от нетрудоспособности и жизни: Оплачиваемое компанией краткосрочное, долгосрочное страхование и страхование жизни.

Прозрачность оплаты

Мы предлагаем конкурентоспособные пакеты компенсаций и льгот. Фактическая компенсация будет определяться исходя из факторов, связанных с должностью, включая опыт, навыки, квалификацию, уровень, на котором будет нанят кандидат, и географическое положение, в соответствии с применимым законодательством.

Диапазон базовой компенсации

$195,200—$262,200 USD

Льготы и бонусы:

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и ответственность
• Совместная и инновационная культура
• Возможность работать над значимыми ИИ-проектами
• Международная среда и талантливые команды

Каково это — работать в Nebius:

Быстрый темп — Смелое мышление — Постоянный рост — Значимое влияние — Доверие и реальная ответственность — Возможность формировать будущее ИИ

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы стремимся к созданию инклюзивной и разнообразной рабочей среды и предоставлению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или самовыражения, или любой другой характеристики, защищенной применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявление, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам требуются меры для обеспечения доступности в процессе подачи заявления, пожалуйста, сообщите нам.