Research Engineer, Content Understanding

Название: Инженер-исследователь, понимание контента Местоположение: Сан-Франциско, Калифорния / На месте

Компенсация: $180 000 - $350 000 в год

Exa — это прикладная лаборатория ИИ, создающая поисковую систему, аналогов которой мир еще не видел. Мы создаем инфраструктуру в огромных масштабах для сканирования всего Интернета, обучаем передовые модели встраивания (embedding models) для его обработки и разрабатываем высокопроизводительные векторные базы данных для поиска по нему. В настоящее время мы обеспечиваем поиск для Cursor, Cognition, HubSpot и более чем 400 000 разработчиков, а также привлекли $350 млн от Lightspeed, Benchmark и a16z.

Наша конечная цель — создать идеальный поиск по всей информации в мире, далеко за пределами возможностей Google. Если вы хотите создавать крупномасштабные ML-системы, которые определят, как новый мир ИИ потребляет информацию, то это место для вас.

Будучи бэкенд-инженером, вы будете играть решающую роль в нашей поисковой архитектуре. Мы достаточно гибки в отношении проектов, над которыми работают люди, в зависимости от их навыков и интересов.

Качество поиска ограничивается тем, насколько хорошо мы понимаем страницу. Прежде чем что-либо можно будет извлечь, кто-то должен разобраться, что именно говорит страница. Это означает разбор ее на части, относящиеся к контенту, и части, являющиеся «мебелью», классификацию типа страницы и ее тематики, определение того, пригодна ли страница вообще к использованию, извлечение даты публикации, оценку ее качества и достоверности, а также определение того, говорит ли она что-то, чего нет на уже имеющейся странице. Все это должно работать для каждой страницы в Интернете, на каждом языке, в каждой форме, в которой существует Интернет.

Часть этого — классическое понимание документов. Часть — гораздо более открытая проблема. Достоверность и дезинформация, контент, сгенерированный ИИ и машинным образом, а также страницы, написанные для поиска, а не для чтения, — все это нерешенные задачи, и результаты поиска настолько же надежны, насколько надежны наши ответы на них.

Мы ищем инженера-исследователя для работы над этим. Есть много возможностей сделать это хорошо.

ЖЕЛАЕМЫЙ ОПЫТ

• Опыт в области ML на уровне магистратуры или PhD (с минимум 2 годами соответствующего опыта) или исключительно сильная подготовка на уровне бакалавриата.
• Вы можете создать transformer с нуля в PyTorch и обучили модели, которые затем должны быть достаточно дешевыми для запуска повсеместно.
• Вам нравится создавать большие наборы данных и работать с данными. Большинство побед здесь заключается в супервизии, а не в архитектуре.
• Вы комфортно чувствуете себя с проблемами, где эталонная истина еще не существует, и ее определение является частью работы.
• Вас волнует проблема поиска качественных знаний, и вы осознаете, насколько это важно для мира.

ПРИМЕРЫ ПРОЕКТОВ

• Обеспечить работоспособность парсинга на страницах, где он в настоящее время не работает, и доказать улучшение, а не утверждать его.
• Научить модель оценивать качество страницы и добиться согласия всех относительно того, что означает качество, достаточно хорошо, чтобы это контролировать.
• Работать над достоверностью и дезинформацией как над модельной задачей: что утверждает страница, является ли она надежным источником этой информации и была ли она написана для читателя или для краулера.
• Определить, являются ли два документа семантически одинаковыми или принципиально разными, чтобы мы могли дедуплицировать веб, не сворачивая страницы, которые пользователь хотел бы видеть отдельно.
• Создать классификацию и извлечение, которые точны в масштабах веба и достаточно дешевы для работы на всем объеме.
• Разработать супервизию для чего-то, для чего ни у кого нет меток, и выяснить, можно ли это вообще изучить.
• Отследить плохой результат поиска до прогноза на уровне страницы, который его вызвал, и исправить его у источника.

Exa является работодателем, предоставляющим равные возможности. Все квалифицированные кандидаты получат рассмотрение на предмет трудоустройства независимо от расы, вероисповедания, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или выражения, национального происхождения, инвалидности, возраста, статуса ветерана, семейного положения, беременности или связанных с ней состояний, истории уголовных преступлений, соответствующей применимому законодательству, или любой другой основы, защищенной применимым законодательством.