Senior Computer Vision Engineer, Embodied AI

Вознаграждение: $229.5K - $255K в год

О Niantic Spatial

ИИ учился почти всему в Интернете, но он все еще испытывает трудности с физическим миром, где происходит 99,5% экономической активности. Он не знает, где что находится, как соотносятся пространства или что меняется со временем.

Это одна из самых больших нерешенных проблем в области ИИ, и именно ее мы решаем в Niantic Spatial. Мы создаем пространственные модели и сервисы ИИ, чтобы люди и машины могли безопасно рассуждать, учиться и действовать в физическом мире. Мы превращаем изображения с камер, видео, данные датчиков и архивы в точные, читаемые ИИ представления реальных мест, на которых роботы могут тренироваться, и которые машины могут использовать, чтобы точно знать, где они находятся.

В области физического ИИ ошибки имеют реальные последствия. Именно поэтому мы строим ИИ, основанный на измеренной реальности, а не на догадках, чтобы люди и машины, полагающиеся на него, могли доверять ему и быть уверенными, что он работает правильно.

Наша команда создала одни из самых широко используемых карт в мире. Теперь мы строим нечто большее: живую, измеренную запись реального мира, которую машины могут запрашивать, изучать и использовать для понимания того, как места меняются со временем. Если вы хотите помочь ИИ понять мир, в котором мы действительно живем, присоединяйтесь к нам.

О роли

Niantic Spatial делает физический мир вычислимым, помогая людям и машинам безопасно сотрудничать, согласуя их понимание реальности. Одна из фундаментальных проблем, которую мы помогаем командам по автономности и инженерам преодолеть, — это разрыв между симуляцией и реальностью в визуально-пространственном понимании. Мы применяем десятилетний опыт нашей команды в точном кодировании мира, как он есть, в Google Maps, Google Earth и Niantic Labs, для создания масштабируемого стека «от реальности к симуляции» для воплощенного ИИ.

Мы ищем старшего инженера по компьютерному зрению для нашей команды по воплощенному ИИ, специализирующейся на 3D-понимании сцен и семантике. Реконструированная среда полезна роботу только тогда, когда он знает, что в ней находится: какие поверхности являются полом, какие объекты можно схватить, переместить или открыть, где заканчивается одна комната и начинается другая. Вы будете работать рука об руку с нашими научными сотрудниками, чтобы воплотить достижения в области восприятия с открытым словарем, 3D-семантической маркировки и построения графов сцен в надежные возможности, которые команды по воплощенному ИИ могут использовать в производстве.

Это прикладная исследовательская роль. Вы будете находиться на границе между исследовательским прототипом и производственным конвейером: адаптировать методы, чтобы они выдерживали работу с «грязными» захватами клиентов, переносить 2D-семантические сигналы в геометрически согласованные 3D, определять, что означает «семантически корректный» для последующей политики, и возвращать полученные знания в исследовательскую повестку дня. Вы понимаете, что сложная часть часто заключается не в основном методе, а в «грязных» входных данных, граничных случаях, эксплуатационных ограничениях и последующих требованиях, связанных с ним. Вас волнуют качество, стоимость, задержка и надежность, и вы знаете, что система успешна только тогда, когда люди могут на нее положиться. Это практическая инженерная роль для тех, кто хочет создавать, выпускать и нести ответственность за результаты. Вы будете формировать как технологию, так и продукт, оставаясь при этом близко к коду и проблемам, которые пытаются решить наши клиенты.

Что вы будете делать

• Внедрение в производство возможностей 3D-понимания сцен — Преобразование исследовательских прототипов в сегментацию с открытым словарем, 3D-семантическую и экземплярную маркировку, предсказание аффордансов и построение графов сцен в надежные компоненты конвейера и сервисы, работающие с различными данными и средами клиентов.

• Обеспечение сквозного качества результатов — Гарантия того, что реконструированные среды содержат метки, экземпляры и отношения, которые являются согласованными, полными и достаточно корректными для последующего моделирования и обучения политики, а также определение того, что означает «достаточно корректный» для каждого рабочего процесса клиента.

• Связь исследований и производства — Ежедневная работа с научным сотрудником по воплощенному ИИ: тестирование новых методов на реальных данных клиентов, выявление их сбоев и возврат производственных и клиентских ограничений в планирование исследований для приоритезации наиболее важных достижений.

• Обеспечение устойчивости систем к реальному миру — Диагностика сбоев, вызванных качеством захвата, сложностью сцены, масштабом, калибровкой, соглашениями о координатах и другими предположениями, которые прототипы часто оставляют неявными.

• Создание инфраструктуры оценки и контроля качества — Создание наборов данных, регрессионных тестов, контрольных точек качества и инструментов бенчмаркинга, которые помогают команде измерять, улучшают ли изменения систему.

• Повышение производительности, пропускной способности и снижение затрат — Профилирование и оптимизация рабочих нагрузок GPU и распределенных систем, сокращение ненужных повторных запусков и помощь в установлении экономики эксплуатации реконструкции в больших масштабах.

• Работа на стыке продуктов — Партнерство с командами по продуктам и инженерии воплощенного ИИ для понимания требований клиентов и предоставления возможностей, соответствующих реальным рабочим процессам обучения, оценки и развертывания. Помощь в развитии представлений, инструментов и операционных систем, которые позволяют реконструированным средам надежно переноситься в клиентские приложения.

Что вы принесете с собой

• 5+ лет опыта в области компьютерного зрения и степень бакалавра или эквивалент,

• Значительный опыт создания и эксплуатации производственных систем компьютерного зрения, машинного обучения, графики или обработки данных.

• Глубокий практический опыт в области понимания сцен: семантическая сегментация, экземплярная или паноптическая сегментация; обнаружение и сегментация с открытым словарем; или модели «видение-язык», применяемые к восприятию.

• Опыт переноса 2D-восприятия в 3D, такой как слияние меток из нескольких видов, 3D-семантическая сегментация, отслеживание экземпляров между видами или построение графов сцен поверх реконструированной геометрии.

• Опыт предоставления надежных систем компьютерного зрения или 3D, используемых другими командами или клиентами, включая оценку, доказавшую их работоспособность.

• Практическое владение 3D и пространственными данными, включая геометрию, модели камер, системы координат, калибровку и метрический масштаб.

• Уверенные навыки работы с Python и PyTorch, а также способность работать с C++ или другими производительными средами при необходимости.

• Опыт работы с облачной инфраструктурой, рабочими нагрузками GPU, распределенной обработкой или крупномасштабными конвейерами данных.

Желательно

• Практический опыт в 3D-реконструкции, фотограмметрии, методе «структура из движения», Gaussian Splatting, нейронном рендеринге или создании сеток.

• Опыт работы с SLAM, визуальным позиционированием, локализацией или крупномасштабными картографическими системами.

• Опыт работы с робототехникой, симуляцией или приложениями воплощенного ИИ, в частности, с тем, как семантические метки потребляются политикой или симулятором.

• Создание инфраструктуры оценки или бенчмаркинга для систем восприятия или реконструкции.

• Опыт оптимизации крупномасштабных рабочих нагрузок вывода GPU по стоимости, пропускной способности или задержке.

• Публикации или вклад в широко используемые библиотеки с открытым исходным кодом для восприятия.

• Продвинутая степень в области компьютерного зрения, робототехники, машинного обучения или смежной области.

Компетенции

• Неустанная предрасположенность к действию. Вы принимаете решения и выпускаете продукты так, как будто от этого зависит успех компании, потому что это так. Вы задаете темп и побуждаете окружающих вас людей соответствовать ему.

• Интеллектуальная честность. Вы знаете, что в стартапе есть только одна работа, которая лежит в основе всех остальных: поиск истины. Вы неустанно стремитесь к ней, в том числе когда она бросает вызов вашим собственным убеждениям, и вы поднимаете вопросы, когда видите их — даже когда это неудобно, и особенно когда это непопулярно.

• Прагматизм. Вы не терпите синдром «не изобретено здесь» и паралич анализа. Вы находите самый быстрый путь к рабочей возможности без односторонних дверей, которые подрывают масштабирование.

• Сильные системные инстинкты. Вы понимаете, что качество производства включает надежность, наблюдаемость, стоимость, задержку, удобство обслуживания и удобство использования — а не только алгоритмическую точность.

• Комфорт в условиях неопределенности. Вы можете добиваться прогресса, когда проблема, данные и требования все еще развиваются.

Компенсация и льготы

Диапазон базовой заработной платы от $229 500 до $255 000 в год. Компенсация также включает ежегодный бонус, опционы на акции и комплексный пакет льгот, включающий медицинское, стоматологическое и офтальмологическое страхование, пенсионный план 401(k) и многое другое.

Местоположение и модель работы

Эта должность предполагает работу в нашем офисе в Сан-Франциско, три дня в неделю — в офисе.

Инклюзивное рассмотрение заявок

Мы знаем, что самые сильные кандидаты не всегда соответствуют всем требованиям. Если вы заинтересованы в этой должности и считаете, что могли бы хорошо ее выполнять, мы призываем вас подать заявку, даже если ваш опыт не полностью соответствует всем перечисленным квалификациям — возможно, именно вы тот, кто нам нужен.

Равные возможности

Niantic Spatial является работодателем, предоставляющим равные возможности. Лица, ищущие работу в Niantic Spatial, рассматриваются независимо от расы, цвета кожи, происхождения, национальности, религии, вероисповедания, возраста, пола (включая беременность, роды, грудное вскармливание или связанные с этим медицинские состояния), семейного положения, физических или психических нарушений, состояния здоровья, генетической информации, статуса военнослужащего или ветерана, гендерной идентичности, гендерного выражения, сексуальной ориентации или любой другой категории, защищенной применимым законодательством. Niantic Spatial также рассматривает кандидатов с судимостью в соответствии с применимым законодательством. Пожалуйста, свяжитесь с вашим рекрутером, если вы хотите запросить помощь в процессе подачи заявки на вакансию или собеседования.

Конфиденциальность кандидата

Я понимаю, что, подавая заявление о приеме на работу, предоставленная мной информация будет использоваться в соответствии с Уведомлением о конфиденциальности Niantic Spatial для соискателей и кандидатов.