Research Engineer, Index Intelligence

Заголовок: Инженер-исследователь, Интеллект индексирования Местоположение: Сан-Франциско, Калифорния / На территории компании

Компенсация: $180K - $350K в год

Exa — это прикладная лаборатория ИИ, которая создает поисковую систему, не похожую ни на что виденное миром ранее. Мы строим инфраструктуру массового масштаба для сканирования всего интернета, обучаем передовые модели встраивания для его обработки и проектируем высокопроизводительные векторные базы данных для поиска по нему. Сейчас мы обеспечиваем поиск для Cursor, Cognition, HubSpot и более чем 400 000 разработчиков, а также привлекли $350 млн от Lightspeed, Benchmark и a16z.

Наша конечная цель — создать идеальный поиск по всей информации в мире, далеко за пределами Google. Если вы хотите создавать ML-системы массового масштаба, которые определят, как новый мир ИИ потребляет информацию, то это место для вас.

Мы постоянно сканируем веб и не можем сохранить всё, обновлять всё или тратить GPU на всё. Должно что-то решать, какие страницы стоит индексировать, какие ссылки стоит отслеживать, какие страницы говорят то же самое, что и страницы, которые у нас уже есть, что устарело, а что мы вообще не должны были выбирать. Эти решения стоят дороже, чем большая часть работы по ранжированию. Самый дешевый способ улучшить поиск — перестать индексировать страницы, которые никто никогда не должен получать, и начать индексировать те, которые мы упускаем. Сегодня они работают на смеси обученных сигналов и пороговых значений, выбранных кем-то.

Мы ищем инженера-исследователя, который будет отвечать за сигналы, лежащие в основе этих решений, и за сами решения.

ЖЕЛАЕМЫЙ ОПЫТ

• Вам комфортно решать проблему без готового решения, где первая задача — определить, что означает правильный ответ

• Практический опыт работы с ML-классификаторами, ранжировщиками и калибровкой, плюс сильные интуитивные представления о данных в веб-масштабе

• Вы мыслите в терминах сквозного влияния. Сигнал имеет значение только в том случае, если решение меняется, и поиск становится лучше

• Вам нравится работать в разных командах. Сканирование, индексирование и поиск — все потребляют то, что вы создаете

• Вас заботит проблема поиска качественных знаний, и вы понимаете, насколько это важно для мира

ПРИМЕРЫ ПРОЕКТОВ

• Обеспечить работу парсинга на страницах, где он в настоящее время не работает, и доказать улучшение, а не просто заявить о нем

• Научить модель оценивать качество страницы и добиться согласия всех относительно того, что означает качество, достаточно хорошо, чтобы контролировать его

• Работать над проблемами достоверности и дезинформации как модельной задачей: что утверждает страница, является ли она надежным источником этой информации и была ли она написана для читателя или для сканера

• Определять, являются ли два документа семантически одинаковыми или действительно разными, чтобы мы могли дедуплицировать веб, не сводя страницы, которые пользователь хотел бы видеть отдельно

Exa является работодателем, предоставляющим равные возможности. Все квалифицированные кандидаты получат рассмотрение для трудоустройства без учета расы, вероисповедания, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, национального происхождения, инвалидности, возраста, статуса ветерана, семейного положения, беременности или связанных с ней состояний, криминальной истории в соответствии с применимым законодательством или любой другой основы, защищенной применимым законодательством.