AI Inference Platform Engineer

Должность: Инженер платформы для инференса ИИ Местоположение: Чикаго

DRW — это диверсифицированная торговая фирма с более чем 30-летним опытом объединения передовых технологий и исключительных специалистов для работы на мировых рынках. Мы ценим автономию и способность быстро реагировать для использования возможностей, поэтому работаем на собственный капитал и торгуем на свой страх и риск. Штаб-квартира DRW находится в Чикаго, а офисы расположены по всей территории США, Канады, Европы и Азии. Мы торгуем различными классами активов, включая фиксированный доход, ETF, акции, валюту, сырьевые товары и энергию на всех основных мировых рынках. Мы также использовали наш опыт и технологии для расширения в трех нетрадиционных стратегиях: недвижимость, венчурный капитал и криптоактивы. Мы работаем с уважением, любопытством и открытым разумом. Люди, которые преуспевают у нас, разделяют нашу веру в то, что важны не только наши действия, но и то, как мы их выполняем. DRW — это место высоких ожиданий, честности, инноваций и готовности оспаривать общепринятое мнение.

О роли Мы ищем инженера платформы для инференса ИИ, который будет создавать, эксплуатировать и оптимизировать системы, обслуживающие большие языковые, визуальные, мультимодальные модели и модели встраивания по всей DRW. Эта роль обеспечивает общефирменный интерфейс DRW к современным моделям ИИ, от ранней оценки до надежного производственного использования. Вы будете работать с средами выполнения инференса, распределенными системами и инженерией производственных платформ, обладая глубокими знаниями GPU. Вы будете полностью отвечать за платформу обслуживания: онбординг новых моделей, измерение качества и эквивалентности производительности в различных конфигурациях обслуживания, планирование рабочих нагрузок между арендаторами и непрерывное повышение задержки, пропускной способности, утилизации, надежности и стоимости всего парка инференса.

Что вы будете делать

• Оптимизация производительности инференса LLM на современных архитектурах NVIDIA GPU и средах выполнения инференса.
• Создание комплексного профилирования производительности и наблюдаемости для выявления узких мест от отдельных ядер GPU до многоузловых систем инференса.
• Проектирование и оптимизация KV cache и распределенных архитектур инференса, включая кэширование, маршрутизацию, многоуровневое хранение и стратегии prefill/decode.
• Онбординг моделей "день 0", определение соответствующей среды выполнения, точности, шардинга, памяти, батчинга, политики кэширования и конфигурации обслуживания для новых моделей.
• Поддержание проверенных профилей производительности для важных комбинаций моделей и оборудования, включая регрессионное тестирование производительности и качества.
• Измерение и мониторинг эквивалентности качества в различных конфигурациях обслуживания, включая квантование KV cache, пороги принятия спекулятивного декодирования, выбор точности и маршрутизацию моделей, чтобы внутреннее обслуживание можно было доверить для соответствия качеству эталонных моделей на производственных рабочих нагрузках.
• Управление жизненным циклом моделей в производственной среде обслуживания, включая версионирование, совместимость, стажировку, канареечные развертывания, продвижение, откат и вывод из эксплуатации.
• Сотрудничество с командами SRE и платформенными командами для автоматизации развертывания моделей, их распространения, готовности к производству, наблюдаемости и надежной работы в различных средах.
• Оптимизация размещения моделей, масштабирования и распределения ресурсов по всему парку инференса для повышения утилизации и эффективности затрат при одновременном соблюдении требований к производительности и надежности.
• Проектирование и эксплуатация многопользовательского планирования и изоляции в общей емкости GPU, балансировка SLO задержки, пропускной способности и приоритета между одновременными рабочими нагрузками.

Кого мы ищем

Технические навыки

• Практический опыт обслуживания LLM на NVIDIA GPU, с знакомством с текущими и будущими архитектурами (Hopper, Blackwell и их преемники), HBM, Tensor Cores, NVLink / NVSwitch, а также с вычислительными и запоминающими узкими местами, которые влияют на решения по обслуживанию.
• Глубокие знания по крайней мере одной современной среды выполнения инференса, такой как TensorRT-LLM, vLLM или SGLang.
• Практические знания методов оптимизации инференса, включая непрерывное пакетное выполнение (continuous batching), планирование, предварительное заполнение фрагментами (chunked prefill), спекулятивное декодирование, квантование, CUDA Graphs и paged attention.
• Понимание архитектуры KV cache, включая префиксное кэширование, управление блоками, определение размера, вытеснение, квантование, маршрутизацию с учетом кэша и многоуровневое кэширование.
• Опыт измерения эквивалентности качества моделей в различных конфигурациях обслуживания, включая системы оценки (evaluation harnesses), бенчмарки для конкретных задач и обнаружение регрессий для изменений в квантовании, KV cache и спекулятивном декодировании.
• Опыт проектирования и настройки распределенных систем инференса, включая тензорный параллелизм, многоузловые развертывания и раздельные prefill и decode.
• Опыт многопользовательского планирования GPU, изоляции рабочих нагрузок и QoS для одновременных инференс-нагрузок.
• Владение инструментами для измерения производительности GPU и наблюдаемости, такими как Nsight, DCGM, OpenTelemetry, Prometheus и Grafana.
• Прочные знания основ Linux и системной производительности, с возможностью диагностики узких мест на уровнях оборудования, драйверов, сред выполнения, сети и приложений.
• Производственный опыт работы с инфраструктурой обслуживания моделей, включая CI/CD, автоматизированное тестирование, наблюдаемость и готовность к производству.

Нематериальные качества

• Вы используете измерительный подход к оптимизации производительности.
• Вы берете на себя ответственность за проблемы производительности, охватывающие аппаратное обеспечение, среды выполнения, модели и границы инфраструктуры.
• Вы можете быстро действовать и переприоритизировать задачи в соответствии с изменяющимися потребностями торговли, поддерживая при этом высокие стандарты производственных систем.
• Вы понимаете важность надежности, предсказуемости и производительности при интеграции систем ИИ в торговые рабочие процессы и процессы принятия решений.
• Вы можете быстро оценивать незнакомые модели, среды выполнения и оборудование и принимать обоснованные инженерные решения с ограниченным предварительным руководством.
• Вы четко общаетесь и можете объяснять сложные компромиссы в производительности между инженерными командами.

Годовой базовый оклад для этой должности составляет от 200 000 до 250 000 долларов США в зависимости от опыта кандидата, квалификации и соответствующих навыков. Должность также дает право на получение ежегодной дискреционной премии. Кроме того, DRW предлагает комплексный пакет льгот для сотрудников, включая групповое медицинское страхование, страхование аптеки, стоматологическое страхование и страхование зрения, 401k (с дискреционным соответствием работодателя), страхование от краткосрочной и долгосрочной нетрудоспособности, страхование жизни и от несчастных случаев, счета для сбережений на здравоохранение и гибкие сберегательные счета. Для получения дополнительной информации о деятельности DRW по обработке данных и нашем использовании данных соискателей, пожалуйста, ознакомьтесь с нашим Уведомлением о конфиденциальности по адресу . Жители Калифорнии, пожалуйста, ознакомьтесь с Уведомлением о конфиденциальности для Калифорнии для получения информации о некоторых юридических правах по адресу . [LI-VD1]