Member of Technical Staff - Research Engineer, RL Environments

Вознаграждение: 200 000 - 350 000 долларов США в год

О НАС

Preference Model — компания, занимающаяся исследованиями в области супер ИИ. Мы создаем среды RL для обучения способных, лучше согласованных супер ИИ.

Почти каждый аспект поведения модели формируется сигналами вознаграждения, на которых она обучается. Самая большая проблема с современными ИИ заключается в том, что они не всегда делают то, что мы намеревались. Иногда это связано с недостаточной способностью, а иногда — с несогласованностью. Обе проблемы сводятся к целям обучения.

Мы пытаемся решить обе эти проблемы наиболее прямым и наиболее эффективным способом, доступным нам, что сегодня означает исследование того, как лучше создавать среды RL, не только для ИИ сегодняшнего дня, но и для ИИ, когда они превзойдут нас по интеллекту.

За последний год мы создали среды RL для нескольких передовых лабораторий, и нас поддерживает 16 миллионов долларов начального финансирования под руководством a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, создавая инфраструктуру данных и наборы данных для Claude.

О РОЛИ

Мы нанимаем опытных инженеров машинного обучения для проектирования и создания сред обучения с подкреплением для безопасного повышения возможностей моделей в исследованиях и инженерии машинного обучения. В частности, вы будете обучать передовые модели работе инженера или исследователя машинного обучения в передовой лаборатории.

Эта роль сочетает в себе исследования и инженерию. Она потребует от вас быть в курсе последних исследований, разрабатывать новые подходы и реализовывать их в коде. Вы будете иметь полное владение и автономию в отношении сред, которые вы создадите. Ваша работа будет включать проектирование и реализацию сред RL, проведение экспериментов и оценок, доставку вашей работы в производственные циклы обучения и сотрудничество с другими исследователями и инженерами.

Вы присоединитесь к нашему отделу Capabilities, небольшой команде с высокой степенью ответственности, и внесете прямой вклад в уровень данных, который обеспечивает возможности передовых LLM.

Примечание: эта роль предназначена только для опытных инженеров ML. У нас есть отдельная вакансия для выпускников.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ:

• Проектировать и создавать среды RL и функции вознаграждения, которые дают чистые, обучаемые сигналы для передовых моделей в задачах ML-исследований и инженерии

• Приобрести глубокую экспертизу в области передовых исследований ML, обучения и инфраструктуры инференса

• Сотрудничать с другими для мозгового штурма и создания новых идей и инструментов для улучшения процесса создания сред

ЧТО МЫ ИЩЕМ (КВАЛИФИКАЦИЯ):

• 5+ лет опыта работы в области машинного обучения или исследований, в основном с LLM и моделями-трансформерами

• У вас прочные фундаментальные знания ML и широкие исследовательские интересы. Вы читаете много статей или учебных пособий, глубоко понимаете темы и обладаете творческим потенциалом для их преобразования в проблемы RLVR

• Владение Python и системным программированием, а также хотя бы одним из PyTorch или JAX

• Решение проблем, которое берет на себя ответственность и ведет решения от начала до конца

• Страсть к поддержанию актуальности в быстро развивающемся ландшафте ML-инфраструктуры

• Способность соответствовать ожиданиям по пропускной способности и быстро реагировать на обратную связь

ВЫ МОЖЕТЕ ПОДОЙТИ, ЕСЛИ ВЫ ТАКЖЕ:

• Имеете экспертные знания в активной области исследований DL/ML, подтвержденные публикациями или общедоступным кодом. Опыт исследований (PhD, MS) является большим плюсом

• Имеете глубокое понимание внутренней работы трансформеров, обучения/инференса современных LLM, опыт работы с библиотеками инференса (vLLM, SGLang и т. д.)

• Имеете сильную экспертизу в разработке ядер (CUDA, Triton, Pallas)

• Создавали сложные интерактивные среды RL

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентоспособная компенсация наличными и акциями (>90-й процентиль)

• Владение и автономия в быстро развивающейся стартап-среде

• Возможность работать с ведущими инженерами машинного обучения

• Медицинское, офтальмологическое, стоматологическое страхование, льготы

• Соответствие 401K

• Обед предоставляется ежедневно на месте

• Еженедельные заказы закусок

• Доступно спонсорство визы и поддержка при переезде

Мы ценим разнообразные точки зрения и опыт. Если вы заинтересованы в этой роли, но не соответствуете всем требованиям, мы все равно призываем вас подать заявку.