Software Engineer, Knowledge Engine – Data Infrastructure

Компенсация: $180K - $350K в год

Команда Knowledge Platform создает базу знаний Exa. Мы непрерывно синтезируем информацию со всей сети и за ее пределами в одну из крупнейших в мире графов знаний открытого домена, содержащую сотни миллиардов подтвержденных фактов. Работа состоит из двух частей: конвейеры построения, которые определяют, чему доверять, и поисковые системы, которые определяют, как лучше всего искать. Наша цель — давать агентам ответы на любые фактические вопросы о мире с беспрецедентной точностью и полнотой.

В этой роли вы будете создавать конвейеры построения знаний: превращать все, от веб-сканирования объемом 100 тыс. документов/сек до наборов данных от поставщиков, в граф того, что является правдой о мире, и поддерживать его корректность при изменении данных.

Это совершенно новая работа огромного масштаба. Не существует готовой системы для создания модели мира из открытой сети, поэтому вы будете принимать основополагающие решения, от того, как представлять и разрешать претензии, до того, как назначать доверие и как граф развивается со временем, от которых зависит все, построенное поверх него.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Непрерывно синтезировать живой веб-краулинг, поставки и API от поставщиков, а также другие внесетевые источники в единый типизированный граф: извлечение, которое превращает страницы и записи в претензии в форме онтологии, каждая из которых несет свое происхождение, временную метку и уверенность.

• Аккуратно вводить каждый новый источник: версионированная история только для добавления с эволюцией схемы, записи с поздним поступлением и исправлением, а также воспроизводимые курсоры, чтобы каждая претензия могла быть прослежена до точной поставки, которая ее произвела.

• Решать, чему доверять: разрешение сущностей по миллиардам записей (блокировка, попарное ранжирование, кластеризация) в канонические представления людей, компаний, мест и публикаций, затем определение истинности, которое взвешивает надежность источника, актуальность и подтверждение для разрешения противоречивых претензий.

• Поддерживать эту картину в актуальном и сходящемся состоянии: потоки поступают непрерывно, вне порядка и с очень разными скоростями, поэтому граф является окончательно согласованным по дизайну. Вы будете создавать инкрементные вычисления на основе каналов данных об изменениях, где каждое обновление представляет собой разницу того, что изменилось, и каждая задача является идемпотентной и возобновляемой, поэтому граф сходится к одному и тому же состоянию независимо от чередования, сбоев или повторного выполнения запусков, а читатели видят только зафиксированные, согласованные версии.

• Измерять точность и полноту: маркированные оценки для извлечения и разрешения, метрики покрытия и корректности по каждому источнику, а также происхождение, которое указывает, какой источник или этап вышел из строя и почему.

ЧТО МЫ ИЩЕМ

• Вы создавали и эксплуатировали крупномасштабные распределенные конвейеры данных в производственной среде с использованием петабайтов структурированных и неструктурированных данных, с Spark поверх формата lakehouse (Delta Lake, Iceberg, Hudi).

• Вы глубоко понимаете инкрементную обработку: захват изменений данных, идемпотентные записи, бэкфиллы и переобработку.

• Сильные навыки в Python и как минимум в одном системном языке; вы можете читать и настраивать планы запросов Spark.

• Вы уделяете внимание корректности, надежности и качеству данных так же, как и масштабу.

БОНУС

• Разрешение сущностей, связывание записей, графы знаний или онтологии

• Извлечение информации или определение истинности в больших масштабах

• Lance или другие столбчатые/векторно-нативные форматы

ПРИМЕРЫ ПРОЕКТОВ

• Преобразовать новый набор данных с миллиардом строк из первой поставки в запрашиваемые сущности за дни, а не месяцы.

• Поддерживать граф из сотен миллиардов претензий в актуальном состоянии с помощью инкрементных обновлений, чтобы факт, меняющийся в сети, достигался за минуты.

• Создать систему, которая знает каждую компанию и человека в мире, с одной подтвержденной записью для каждого, разрешенной по всей сети и всем источникам, которые мы принимаем.

Exa является работодателем, предоставляющим равные возможности. Все квалифицированные кандидаты получат рассмотрение для трудоустройства независимо от расы, вероисповедания, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, инвалидности, возраста, статуса ветерана, семейного положения, беременности или связанных с ней состояний, криминальной истории, соответствующей применимому законодательству, или любой другой основы, защищенной применимым законодательством.