Senior Data Engineer (AV)

О роли Мы готовим основу данных для нашей работы в области автономного вождения и ищем инженера, который начнет эту работу. Сегодня мы собираем уличные изображения и GPS-треки с автомобильных камер, включая наши собственные камеры с бортовыми устройствами NVIDIA, и используем их для обновления карт. Далее появится специальный автомобиль для обследования с полным набором датчиков: мульти-камера, IMU, LiDAR. Вы начнете с конвейеров изображений и картографических данных, которые мы запускаем сегодня, и по мере появления платформы датчиков вы создадите конвейеры, которые преобразуют ее данные в обучающие наборы данных для моделей автономного вождения. Создание конвейеров, перемещающих мультисенсорные данные (видео с нескольких камер, IMU, LiDAR, GPS) с транспортных средств в облачное хранилище, синхронизация и геопривязка потоков Управление структурой хранения и жизненным циклом сенсорных данных: секционирование, горячие и архивные уровни, контроль затрат по мере роста объемов Создание проверки и мониторинга на пути приема: незавершенные загрузки, отсутствующие или несинхронизированные потоки, транспортные средства, которые перестали выдавать полезные данные Подготовка обучающих наборов данных для моделей автономного вождения: выбор данных по местоположению, маршруту и условиям, версионирование наборов данных и их доставка в форматах, необходимых ML-командам До тех пор: возьмите на себя и разработайте текущие конвейеры изображений и GPS-треков с автомобильных камер, а также внесите вклад в конвейеры геоданных (прием из корпоративных данных, OpenStreetMap, Overture Maps и от поставщиков, слияние, проверка, публикация) Работа с корпоративными данными в BigQuery и обеспечение быстрой обработки пространственных запросов к большим таблицам PostGIS и GeoParquet 4+ года опыта в области инжиниринга данных Опыт работы с мультисенсорными данными с транспортных средств или роботов: камеры, IMU или LiDAR, и синхронизация потоков Опыт подготовки обучающих наборов данных для моделей компьютерного зрения или автономного вождения. Большие объемы двоичных или медиаданных в объектном хранилище (S3 или GCS); распределенная обработка (Spark или эквивалент) Практический опыт работы с пространственными данными: PostGIS, GeoPandas/Shapely, системы координат, GPS-треки Сильные навыки в Python и SQL; AWS или GCP, Docker, Kubernetes Приятно иметь Форматы сенсорных данных, такие как ROS2 bag, MCAP или точечные облака Parquet, Delta или Iceberg; Databricks Argo Workflows или Airflow OpenStreetMap и Overture Map QGIS

BigQuery Помогите нам бороться с несправедливостью, создавая справедливые возможности для миллионов людей в 47 странах. Развивайте свои профессиональные навыки, имея доступ к наставничеству, карьерному консультированию и программам обучения Сотрудничайте с командами по всему миру и получите международный опыт благодаря нашей программе Global Talent Exchange. Участвуйте в общекорпоративных конкурсах, премиях, спортивных мероприятиях, социальных проектах и волонтерских инициативах, возглавляемых сотрудниками. Работайте вместе с людьми, которые проявляют инициативу, открыто высказываются и бросают вызов самим себе, чтобы расти Совершенствуйте свои языковые навыки с помощью софинансируемых курсов и внутренних разговорных клубов Окончательные льготы могут варьироваться в зависимости от местоположения.