AI Engineer, Computer Vision

Компенсация: 165 600 - 221 000 долларов США в год

О Niantic Spatial

ИИ изучил почти все в Интернете, но до сих пор испытывает трудности с физическим миром, где происходит 99,5% экономической активности. Он не знает, где находятся вещи, как пространства сочетаются друг с другом или что меняется со временем.

Это одна из самых больших нерешенных проблем в области ИИ, и именно ее мы решаем в Niantic Spatial. Мы создаем пространственные модели и сервисы ИИ, чтобы люди и машины могли безопасно рассуждать, учиться и действовать в физическом мире. Мы превращаем изображения с камер, видео, данные датчиков и архивы в точные, читаемые ИИ представления реальных мест, в которых роботы могут тренироваться, а машины могут использовать, чтобы точно знать, где они находятся.

В области физического ИИ ошибки имеют реальные последствия. Именно поэтому мы создаем ИИ, основанный на измеренной реальности, а не на догадках, чтобы люди и машины, полагающиеся на него, могли доверять ему в правильном выполнении задач.

Наша команда создала одни из самых широко используемых карт в мире. Теперь мы строим нечто большее: живую, измеренную запись реального мира, которую машины могут запрашивать, изучать и использовать для понимания того, как места меняются со временем. Если вы хотите помочь ИИ понять мир, в котором мы действительно живем, присоединяйтесь к нам.

О команде

Локализация — это место, где карта встречается с моментом. Наша команда локализации создает живую геопространственную мировую модель и систему визуального позиционирования (VPS) с точностью до сантиметра, которая позволяет людям и роботам точно знать, где они находятся, с любой камеры, почти в любой точке Земли.

Эта система изучается, а не создается вручную. Наш стек локализации перешел от классической геометрии к визуальным моделям, обученным на миллиардах изображений с позами — моделям, которые должны быть точными до сантиметра, устойчивыми к освещению, временам года и помехам, а также достаточно быстрыми, чтобы работать в продакшене для каждого запроса. Эта команда находится на стыке исследований и продакшена: мы берем то, что работает в статье, заставляем это работать на наших данных и делам это работать для клиентов.

О роли

Мы ищем AI Engineer, Computer Vision, чтобы внести свой вклад в модели глубокого обучения, лежащие в основе нашей системы локализации. Работая вместе с опытными исследователями и инженерами, вы будете помогать обучать и итерировать визуальные модели — экстракторы признаков, сопоставители, регрессоры позы и модели поиска — которые преобразуют одно изображение в точное положение в мире.

Это полноценная среда. Вы получите доступ ко всему конвейеру: данным, на которых учится модель, обучению, оценке и сервису, который запускает ее в продакшене. Вас будут окружать люди, которые глубоко заботятся о правильности — когда кривая потерь снижается, это еще не значит, что система улучшается — и вы быстро освоите эту строгость.

Что вы будете делать

• Обучать и оценивать модели — Реализовывать, обучать и оценивать модели визуальной локализации в PyTorch: локальное извлечение и сопоставление признаков, поиск изображений, регрессия позы и регрессия координат сцены. Итерировать архитектуры, функции потерь и циклы обучения для повышения точности на реальных производственных снимках.

• Создавать конвейеры данных — Участвовать в высокопроизводительных конвейерах приема и предварительной обработки, которые преобразуют необработанные изображения, позы и 3D облака точек в готовые для обучения наборы данных, включая курирование, выборку и аугментацию.

• Проводить эксперименты в большом масштабе — Запускать задания на обучение в средах GPU на нашем корпусе из 30 миллиардов изображений, работая с старшими инженерами и ML Infrastructure, чтобы эксперименты были воспроизводимыми, а результаты — интерпретируемыми.

• Расширять эталонные тесты — Помогать создавать и поддерживать набор тестов для оценки локализации — точность позы, полнота при изменениях освещения и времен года, а также задержка при производственной нагрузке — чтобы результаты были сопоставимы между версиями моделей.

• Поддерживать развертывание в продакшене — Работать со старшими инженерами, чтобы переводить модели из чекпоинтов в продакшен: экспорт, оптимизация инференса и мониторинг после запуска. Узнайте, что значит владеть моделью от начала до конца, а не просто передавать чекпоинт.

• Наводить мосты между исследованиями и продуктом — Работать с командой исследований и лабораторией тестирования реальных условий, чтобы понять, как сбои в полевых условиях переводятся в данные для обучения и улучшения эталонных тестов.

Что вы принесете с собой

• Опыт обучения моделей глубокого обучения для задач компьютерного зрения в PyTorch — через курсовые работы, исследования, стажировки или раннюю работу в индустрии.

• Фундаментальное понимание хотя бы одного из следующих направлений: визуальная локализация, обучение сопоставлению признаков, поиск изображений, оценка позы, SLAM или структура из движения, а также лежащая в их основе 3D геометрия (модели камер, эпиполярная геометрия, параметризация позы).

• Уверенность в работе с большими наборами изображений или 3D данных — предварительная обработка, курирование и понимание того, как качество данных влияет на поведение модели.

• Знакомство с обучением на GPU и способность читать и анализировать результаты обучения — определяя, является ли узким местом загрузка данных, вычисления или архитектура модели.

• Сильные навыки Python и привычка писать код, который другие могут повторно использовать и на основе которого могут строить.

• Степень бакалавра или магистра в области компьютерных наук, компьютерного зрения, робототехники или смежной области, или эквивалентный практический опыт.

Желательно иметь:

• Опубликованные работы или вклад в области обучения локализации, визуального распознавания мест, регрессии координат сцены или базовых моделей зрения (CVPR, ECCV, ICCV, NeurIPS, 3DV или эквивалент).

• Опыт крупномасштабного самообучения или многовидового предварительного обучения, или дообучения базовых моделей зрения для геометрических задач.

• Опыт оптимизации инференса для периферийного или мобильного оборудования (TensorRT, ONNX, CoreML или аналоги).

• Опыт работы с пространственными данными в петабайтном масштабе: облака точек, сетки, коллекции изображений с позами или геопространственные индексы.

• Опыт работы в области робототехники, дополненной реальности, 3D реконструкции, цифровых двойников или автономных систем.

• Предыдущий опыт стажировки в индустрии или исследованиях по выпуску или участию в создании производственной CV системы.

Компенсация и льготы

Ожидаемый диапазон заработной платы для этой должности составляет 165 600 - 221 000 долларов США в год. Компенсация также включает ежегодный бонус, опционы и комплексный пакет льгот, включающий медицинское, стоматологическое и офтальмологическое страхование, 401(k) и многое другое.

Местоположение и модель работы

Эта должность базируется в нашем офисе в Сан-Франциско, Калифорния, с гибридным графиком работы, предусматривающим минимум 3 дня в неделю в офисе.

Инклюзивное рассмотрение заявок

Мы знаем, что самые сильные кандидаты не всегда соответствуют всем требованиям. Если вы заинтересованы в этой должности и считаете, что могли бы хорошо ее выполнять, мы призываем вас подать заявку, даже если ваш опыт не полностью соответствует всем перечисленным требованиям — возможно, вы именно тот, кого мы ищем.

Равные возможности

Niantic Spatial является работодателем, предоставляющим равные возможности. Лица, ищущие работу в Niantic Spatial, рассматриваются независимо от расы, цвета кожи, происхождения, национальности, религии, вероисповедания, возраста, пола (включая беременность, роды, грудное вскармливание или связанные с этим медицинские состояния), семейного положения, физических или психических отклонений, состояния здоровья, генетической информации, военного или ветеранского статуса, гендерной идентичности, гендерного самовыражения, сексуальной ориентации или любой другой категории, защищенной применимым законодательством. Niantic Spatial также будет рассматривать кандидатов с судимостями в соответствии с применимым законодательством. Пожалуйста, свяжитесь с вашим рекрутером, если вы хотите запросить помощь в процессе подачи заявки на вакансию или прохождения собеседования.

Конфиденциальность кандидата

Я понимаю, что, подавая заявку на вакансию, я предоставляю информацию, которая будет использоваться в соответствии с Уведомлением о конфиденциальности Niantic Spatial для соискателей и кандидатов.