Senior Machine Learning Engineer – Predictive World Model

Должность: Senior Machine Learning Engineer – Predictive World Model Местоположение: Офис SV / Санта-Клара, Калифорния

XPENG — ведущая компания в области интеллектуальных технологий, находящаяся на переднем крае инноваций и интегрирующая передовые технологии ИИ и автономного вождения в свои транспортные средства, включая электромобили (EV), самолеты с электрическим вертикальным взлетом и посадкой (eVTOL) и робототехнику. Уделяя особое внимание интеллектуальной мобильности, XPENG стремится изменить будущее транспорта посредством передовых исследований и разработок в области ИИ, машинного обучения и интеллектуальных коммуникаций. Мы ищем инженеров машинного обучения с глубокими знаниями в области генеративного моделирования и крупномасштабных систем глубокого обучения, а также с уверенными навыками разработки программного обеспечения. На этой должности вы будете исследовать, внедрять и оценивать мировые модели, которые изучают динамику физического мира на основе больших мультимодальных данных — прогнозируя, как сцена развивается под действиями агента, и выступая в качестве обученного симулятора для обучения и оценки политик вождения и робототехники. Вы будете работать с современными генеративными архитектурами, включая диффузионные модели и модели потокового согласования (flow-matching models), видеотокенизаторы и многомодальные бэкбоны на основе трансформеров. Вы будете сотрудничать с командой мирового класса экспертов в области компьютерного зрения, генеративного ИИ и систем ИИ, используя огромные объемы реальных мультимодальных данных из нашего парка автономных автомобилей и роботизированных платформ. Обязанности: Исследовать и разрабатывать предиктивные мировые модели, которые изучают, как развивается физический мир, прогнозируя будущее состояние сцены на основе крупномасштабных мультимодальных данных вождения и робототехники. Разрабатывать высококачественное многовидовое прогнозирование и генерацию будущего, поддерживая как развертывание, обусловленное действиями, так и формулировки, которые прогнозируют будущее без явного условия действий. Работать на стыке моделирования мира и обучения политик: разрабатывать архитектуры, в которых общий бэкбон как предсказывает будущее, так и генерирует траектории или действия, а также применять предиктивное предварительное обучение для улучшения производительности вождения в модели Vision-Language-Action (VLA). Расширять прогнозирование за пределы 2D-пикселей в общее мультимодальное скрытое пространство, охватывающее 3D-представления сцен, такие как Gaussian Splatting, вместе с сигналами занятости и вознаграждения, чтобы единая модель могла поддерживать симуляцию, оценку и обучение политик. Улучшать кросс-воплощенную обобщаемость: разрабатывать унифицированные представления наблюдений и действий вместе с механизмами обусловливания воплощения, чтобы единая мировая модель переносилась между транспортными средствами, роботами и конфигурациями датчиков с использованием лишь небольшого количества данных (few-shot). Определять и создавать методологию оценки предиктивных мировых моделей, охватывающую качество представления, точность прогнозирования, верность генерации, физическую правдоподобность, согласованность развертывания на длительных горизонтах и, в конечном итоге, производительность политики в замкнутом цикле, а затем использовать полученные модели для обучения как источник синтетических данных и симуляции крайних случаев. Минимальные требования к навыкам: Образование уровня магистра или PhD в области инженерии или компьютерных наук с фокусом на глубокое обучение, компьютерное зрение, генеративные модели или смежную область, или эквивалентный опыт. Открыты для недавних выпускников. Богатый опыт прикладного глубокого обучения, включая проектирование архитектуры моделей, обучение крупномасштабных моделей, курирование данных и эмпирический анализ. 1-3+ года опыта работы с фреймворками DL, такими как PyTorch, включая практический опыт распределенного обучения (FSDP, DeepSpeed или parallelism типа Megatron). Уверенные навыки программирования на Python с навыками проектирования программного обеспечения. Твердое понимание структур данных, алгоритмов, оптимизации кода и обработки больших данных. Отличные навыки решения проблем, включая способность проектировать контролируемые эксперименты и делать обоснованные выводы из зашумленных обучающих сигналов. Предпочтительные требования к навыкам: Практический опыт работы с генеративными моделями для видео или 3D, такими как диффузионные модели, модели потокового согласования (flow matching), авторегрессионное прогнозирование видео или нейронные представления сцен, включая NeRF и Gaussian Splatting. Опыт работы с мировыми моделями или обученными симуляторами для принятия решений, включая обучение с подкреплением на основе моделей и модели Vision-Language-Action (VLA). Опыт работы с мультимодальными фундаментальными моделями и видеотокенизаторами или VAE, включая предварительное обучение или адаптацию больших предварительно обученных бэкбонов. Опыт работы с крупномасштабной инфраструктурой обучения и оптимизацией производительности, такой как смешанная точность (mixed precision), torch.compile, оптимизация на уровне ядра (kernel-level optimization) и многоузловое масштабирование (multi-node scaling). Что мы предлагаем: Веселая, поддерживающая и увлекательная среда. Инфраструктура и вычислительные ресурсы для поддержки вашей работы. Возможность работать над передовыми технологиями с лучшими талантами в этой области. Возможность оказать значительное влияние на революцию в транспорте путем развития автономного вождения. Конкурентоспособный компенсационный пакет. Закуски, обеды, ужины и развлекательные мероприятия. Базовый оклад для этой штатной должности составляет от 174 720 до 295 680 долларов США, в дополнение к бонусам, акциям и льготам. Наши диапазоны заработной платы определяются должностью, уровнем и местоположением. Диапазон, отображаемый в каждом описании вакансии, отражает минимальный и максимальный целевой показатель заработной платы для новых сотрудников на данной должности во всех местах в США. В пределах диапазона индивидуальная оплата определяется местоположением работы и дополнительными факторами, включая навыки, опыт и соответствующее образование или обучение, связанные с работой. Мы являемся работодателем, предоставляющим равные возможности. Наша политика заключается в предоставлении равных возможностей трудоустройства всем квалифицированным лицам независимо от расы, возраста, цвета кожи, пола, сексуальной ориентации, религии, национального происхождения, инвалидности, статуса ветерана или семейного положения или любой другой предписанной категории, изложенной в федеральных или государственных нормативных актах.