Заголовок: Старший инженер платформы данных
Местоположение: Штаб-квартира / Торранс, Калифорния, США
Кто мы
Neros — оборонная технологическая компания, восстанавливающая промышленную базу беспилотников Америки. Мы разрабатываем и производим высокопроизводительные беспилотные системы, которые проходят испытания в бою, итеративно ускоряются как в стартапе и производятся в огромных масштабах. Культура нашей команды — быстрая, практическая и одержимая сокращением разрыва между проектированием и развертыванием.
Поскольку дроны трансформируют характер войны, Neros поставляет системы, необходимые Западу для конкуренции на современном поле боя и сдерживания противников демократии. Мы нанимаем инженеров, операторов и строителей, которые хотят работать быстро, брать на себя исключительную ответственность и вводить возможности в руки бойцов за месяцы, а не годы.
Что вы будете делать
Инженер платформы данных отвечает за сквозную работу конвейера данных автономии: получение полетных данных с транспортных средств в поле, передача их в облако и обеспечение возможности поиска и воспроизведения в масштабе. Это роль в совершенно новой области. Вы будете создавать инфраструктуру хранения, каталогизации и запросов, от которой зависит каждый тест автономии, симуляция и набор данных машинного обучения в Neros, и вы будете отвечать за ее архитектуру, эксплуатационные расходы и соответствие нормативным требованиям.
Обязанности
- Создать путь для возврата полетных данных из поля, включая запуск сбора данных на транспортном средстве, приоритизированную загрузку, чтобы первыми возвращались наиболее ценные полеты, и возобновляемую передачу с проверкой целостности.
- Преобразовать необработанные журналы в пригодный для использования корпус: декодировать, синхронизировать по времени мультисенсорные и видеопотоки, проверять и помещать в карантин некорректные данные перед их передачей конечным пользователям.
- Разработать модель каталога и тегов, которые индексируют корпус, и создать облачное хранилище и базу данных, которые его содержат.
- Создать слой запросов, чтобы инженер мог извлечь каждый полет, соответствующий условию, например, потерю захвата цели на конечном этапе при ярком свете за последние 90 дней, и получить воспроизводимое видео за секунды.
- Предоставлять журналы системе оценки со стабильным порядком, точной синхронизацией по времени и воспроизводимыми результатами между запусками, чтобы задача регрессии могла обрабатывать тысячи полетов одновременно.
- Создавать версионированные, неизменяемые наборы данных из запросов к каталогу с записью происхождения, чтобы любой набор данных для обучения моделей мог быть точно воссоздан месяцы спустя.
Что вам понадобится
- Более 5 лет опыта создания производственной инфраструктуры данных или бэкэнд-инфраструктуры, включая как минимум одну систему, которой вы полностью владели от первоначального проектирования до текущей эксплуатации.
- Прямой опыт работы с крупномасштабными журналами или данными датчиков: мультитерабайты и рост, с видео и несколькими синхронизированными сенсорными потоками (rosbag, MCAP, HDF5, Parquet или эквивалентные форматы), а не с ориентированными на строки бизнес-данными.
- Разработали и владели схемой данных, индексом или каталогом, которые другие инженеры запрашивали ежедневно, и жили с последствиями этой разработки, включая как минимум одну миграцию.
- Отличное знание Python, плюс SQL и рабочее владение реляционной базой данных (PostgreSQL или эквивалент), используемой в производстве.
- Практический опыт работы с облачным объектным хранилищем и вычислениями (Azure, AWS или GCP) и способность самостоятельно развертывать и эксплуатировать их без выделенной команды платформы или DevOps.
- Опыт работы с распределенной или параллельной пакетной обработкой и оркестрацией заданий (Spark, Ray, Dask, Airflow, Dagster или эквивалент) для больших объемов записанных данных.
- Практические знания синхронизации и выравнивания времени между потоками датчиков, а также детерминированной, воспроизводимой обработки записанных данных.
- Опыт создания внутренних инструментов, которые были приняты другими инженерами, включая как минимум один случай, когда вы изменили дизайн на основе фактического использования.
Желательно
- Журналы или инфраструктура данных, созданные для робототехники, автономных транспортных средств, аэрокосмической или оборонной программ, где детерминизм воспроизведения, синхронизация по времени и мультисенсорные журналы являются родными проблемами, а не новыми.
- Опыт работы с видео в масштабе, включая перекодирование, точный поиск по кадрам и потоковое воспроизведение записанного материала для инженеров.
- Прямой опыт работы с Azure, инфраструктура как код (Terraform или Bicep) и предыдущая ответственность за облачный бюджет, где учитывались уровни хранения и затраты на исходящий трафик.
- Предыдущая работа в контролируемых экспортным режимом, GovCloud или IL4/IL5 средах, или знакомство с обязательствами по обработке данных CMMC и ITAR.
- Опыт подключения конвейера данных к поставщику услуг маркировки или внутренним инструментам маркировки, или к рабочим процессам обучения моделей, отслеживания экспериментов и реестра моделей.
Диапазон заработной платы в США
$163 500 – $228 500 USD
Диапазон заработной платы для этой должности является оценкой, основанной на широком спектре факторов компенсации, включающей только базовую заработную плату. Фактическая заработная плата может варьироваться в зависимости (но не ограничиваясь) от опыта работы, образования и/или обучения, критически важных навыков и/или бизнес-соображений. Высококонкурентные гранты на акции рассматриваются как часть общего пакета компенсации Neros.
Мы являемся работодателем, предоставляющим равные возможности. Мы приветствуем всех кандидатов независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности, национального происхождения, статуса ветерана или инвалидности.
