Member of Technical Staff - Machine Learning Capabilities, New Graduates

Вознаграждение: 165 000–200 000 долларов США в год

О НАС

Preference Model — компания, занимающаяся исследованиями в области сверх-интеллектуальных данных. Мы создаем RL-среды для обучения способных, лучше согласованных сверх-интеллектов.

Почти каждый аспект поведения модели формируется сигналами вознаграждения, на которых она обучается. Главная проблема современных ИИ заключается в том, что они не всегда делают то, что мы намеревались. Иногда это происходит потому, что они недостаточно способны, а иногда — потому, что они не согласованы. Обе проблемы сводятся к целям обучения.

Мы пытаемся решить обе эти проблемы наиболее прямым и эффективным способом, доступным нам, что сегодня означает исследование того, как лучше создавать RL-среды, не только для современных ИИ, но и для ИИ, когда они превзойдут нас в интеллекте.

За последний год мы создали RL-среды для нескольких передовых лабораторий, и нас поддержали 16 миллионов долларов начального финансирования во главе с a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, занимаясь созданием инфраструктуры данных и наборов данных для Claude.

О РОЛИ

Мы нанимаем инженеров по машинному обучению для выпускников, которые будут разрабатывать и создавать среды обучения с подкреплением для безопасного продвижения возможностей моделей в исследованиях и инженерии машинного обучения. В частности, вы будете обучать передовые модели выполнять работу инженера или исследователя ML в передовой лаборатории.

Эта роль сочетает в себе исследования и инженерию. Она потребует от вас быть в курсе последних исследований, разрабатывать новые подходы и реализовывать их в коде. Вы будете иметь полное владение и автономию над средами, которые вы создаете. Ваша работа будет включать разработку и внедрение RL-сред, проведение экспериментов и оценок, внедрение вашей работы в производственные циклы обучения и сотрудничество с другими исследователями и инженерами.

Вы присоединитесь к нашей организации Capabilities, небольшой команде с высоким уровнем ответственности, и будете напрямую способствовать развитию слоя данных, который обеспечивает возможности передовых LLM.

Примечание: эта роль предназначена только для недавних выпускников, которые могут приступить к работе в ближайшее время. Мы отдаем приоритет кандидатам с PhD, имеющим исследовательские публикации и опыт.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ:

• Разрабатывать и создавать RL-среды и схемы вознаграждения, которые производят чистые, обучаемые сигналы для передовых моделей в задачах ML-исследований и инженерии.
• Приобретать глубокие знания в передовых областях ML-исследований, обучения и инфраструктуры инференса.
• Сотрудничать с другими для обсуждения и создания новых идей и инструментов для улучшения процесса создания сред.

ЧТО МЫ ИЩЕМ (КВАЛИФИКАЦИЯ):

• У вас прочные фундаментальные знания в области ML и широкие исследовательские интересы. Вы читаете много статей или руководств, глубоко понимаете темы и обладаете творческим потенциалом для их преобразования в проблемы RLVR.
• Экспертные знания в активной области исследований DL/ML, подтвержденные публикациями или публичным кодом.
  • Исследовательский опыт (PhD) очень предпочтителен.
• Глубокое понимание внутренних механизмов трансформеров.
• Владение Python, Numpy и системным программированием; желательно PyTorch или JAX.
• Умные решатели проблем, которые берут на себя ответственность и доводят решения до конца.
• Страсть к поддержанию актуальности знаний в быстро развивающемся ландшафте ML-инфраструктуры.
• Способность соответствовать ожиданиям по пропускной способности и быстро реагировать на обратную связь.

ПРИЯТНО ИМЕТЬ:

• Глубокие знания в разработке ядер (CUDA, Triton, Pallas), оптимизации нетривиальных нейронных модулей для конкретного оборудования.
• Исследовательские проекты, курсовые работы или личные работы, связанные с RL-средами (любой фреймворк, любой масштаб).
• Вклад в open-source ML-инфраструктуру или инструменты RL.
• Опыт работы с любой облачной платформой (AWS, GCP, Azure) или инструментами Infrastructure-as-Code.

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентоспособное денежное и акционерное вознаграждение (> 90-й процентиль).
• Владение и автономия в быстро развивающейся стартап-среде.
• Возможность работать с ведущими инженерами машинного обучения.
• Медицинская страховка, страховка зрения, стоматологическая страховка, другие льготы.
• Софинансирование 401K.
• Обед предоставляется ежедневно на месте.
• Еженедельные заказы закусок.
• Доступна визовая поддержка и помощь при переезде.

Мы ценим разнообразные точки зрения и опыт. Если вы заинтересованы в этой роли, но не соответствуете всем требованиям, мы все равно призываем вас подать заявку.