Software Engineer, Knowledge Engine – Query Engine

Compensation: $180K - $350K per year

Exa — это лаборатория прикладного ИИ, создающая поисковую систему, невиданную ранее. Мы создаем инфраструктуру огромного масштаба для сканирования всего интернета, обучаем передовые модели встраивания для его обработки и разрабатываем высокопроизводительные векторные базы данных для поиска по нему. Сейчас мы обеспечиваем поиск для Cursor, Cognition, HubSpot и более 400 000 разработчиков, а также привлекли $350 млн от Lightspeed, Benchmark и a16z.

Наша конечная цель — создать идеальный поиск по всей информации в мире, далеко превосходящий Google. Если вы хотите создавать ML-системы огромного масштаба, которые определят, как новый мир ИИ будет потреблять информацию, это место для вас.

Команда Knowledge Platform создает ядро знаний Exa. Мы постоянно синтезируем информацию со всего интернета и за его пределами в одну из крупнейших в мире графов знаний открытого домена, содержащую сотни миллиардов подтвержденных фактами утверждений. Работа состоит из двух частей: конвейеры построения, которые решают, чему доверять, и поисковые движки, которые решают, как лучше всего осуществлять поиск. Наша цель — предоставлять агентам ответы на любые фактические вопросы о мире с беспрецедентной точностью и полнотой.

В этой роли вы будете отвечать за поисковый движок, который ищет сотни миллиардов утверждений в различных поисковых бэкендах, от распределенной графовой базы данных до векторных, полнотекстовых, временных рядов и геопространственных индексов.

Это работа с нуля с огромным масштабом. Ни одна готовая система не отвечает на точные вопросы по сотням миллиардов утверждений, подкрепленных фактами, со скоростью агента, поэтому вам предстоит принимать фундаментальные решения, от структуры хранения и индексации в различных движках до языка запросов и планировщика, который распределяет работу между ними, от которых зависит каждый запрос.

ЧЕМ ВЫ БУДЕТЕ ЗАНИМАТЬСЯ

• Отвечать за хранение и индексацию в различных бэкендах: структура данных, партиционирование и индексы для поиска по графу, векторам, полному тексту, временным рядам и геопространственным данным, с пакетными сборками снимков и живым приемом данных, которые никогда не останавливают систему.

• Определять, как лучше всего осуществлять поиск: планирование на основе стоимости с оценкой кардинальности, которое для каждого вопроса выбирает, какие бэкенды использовать, в каком порядке и как объединять их результаты, выполненные в виде обходов, поисков, фильтров и агрегаций в одном плане.

• Обеспечивать высокую скорость в масштабе: обслуживать тысячи запросов в секунду, профилируя и снижая задержку p50/p99, потребление памяти и стоимость за запрос при высокой конкурентной нагрузке, от структуры данных на диске до сетевого распределения.

• Поддерживать согласованность ответов во время сходимости данных: граф питается от живых обновлений и пакетных снимков одновременно и по своей сути является конечно-согласованным, поэтому вы будете отвечать за то, что может видеть запрос во время его сходимости: согласованное продвижение снимков, упорядоченное применение живых обновлений и стабильную пагинацию по версиям.

• Измерять точность и полноту: сквозные проверки, которые должны проходить при каждом развертывании, плюс оценки и метрики, показывающие, когда план возвращает неправильные результаты или пропускает те, которые должен был найти.

ЧТО МЫ ИЩЕМ

• Вы глубоко работали в распределенной базе данных, поисковом движке, поисковой системе или системе хранения.

• Глубокое понимание индексации, планирования и оптимизации запросов, а также форматов хранения.

• Прочное понимание основ распределенных систем: консенсус, репликация, шардинг и отказоустойчивость.

• Сильные навыки в системном языке программирования (Go, Rust или C++).

• Вы профилируете перед оптимизацией и добились измеримого снижения задержки в продакшене.

• Вы так же одержимы корректностью, надежностью и качеством данных, как и масштабом.

БОНУС

• Графовые базы данных или комбинация векторного, полнотекстового, временного ряда и геопространственного поиска

• Компиляторы, дизайн языка запросов или оптимизаторы на основе стоимости

ПРИМЕРЫ ПРОЕКТОВ

• Создать систему, которая извлекает и обрабатывает всю известную информацию о любой компании или человеке в мире, отвечая на любые фактические вопросы точно и полно.

• Отвечать на точные многошаговые вопросы по сотням миллиардов утверждений с тысячами QPS с интерактивной задержкой.

• Создать планировщик, который выбирает правильное сочетание графового, векторного, полнотекстового и геопространственного поиска для любого вопроса и доказывает, что он выбрал хорошо.

• Сделать новые знания запрашиваемыми через несколько секунд после их синтеза, никогда не выдавая несогласованный результат.

ЛОГИСТИКА

• Местоположение: Это возможность работы в офисе в Сан-Франциско.

• Визы: Мы рады спонсировать международных кандидатов (например, STEM OPT, OPT, H1B, O1, E3). Хотя мы не можем гарантировать вашу визу, мы исторически успешно спонсировали кандидатов со всего мира. Если вы получите предложение, наша команда будет усердно работать, чтобы получить для вас визу.

• Льготы: Мы предлагаем премиальные медицинские льготы (медицинское страхование, стоматология, офтальмология), льготы по репродуктивному здоровью, 16 недель полностью оплачиваемого отпуска по уходу за ребенком для всех новых родителей и ежемесячную стипендию на оздоровление для всех наших сотрудников.

Exa является работодателем, предоставляющим равные возможности. Все квалифицированные кандидаты получат рассмотрение на предмет трудоустройства независимо от расы, вероисповедания, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, инвалидности, возраста, статуса ветерана, семейного положения, беременности или связанных с ней состояний, истории судимостей в соответствии с применимым законодательством или любой другой основы, защищенной применимым законодательством.

Exa является работодателем, предоставляющим равные возможности. Все квалифицированные кандидаты получат рассмотрение на предмет трудоустройства независимо от расы, вероисповедания, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, инвалидности, возраста, статуса ветерана, семейного положения, беременности или связанных с ней состояний, истории судимостей в соответствии с применимым законодательством или любой другой основы, защищенной применимым законодательством.