Member of Technical Staff - Research Engineer, Post-training

Вознаграждение: $200K - $350K в год

О НАС

Preference Model — компания, занимающаяся исследованиями в области данных для сверхинтеллекта. Мы создаем RL-среды для обучения способных, лучше выровненных сверхинтеллектов.

Почти каждый аспект поведения модели формируется сигналами вознаграждения, на которых она обучается. Главная проблема современных ИИ заключается в том, что они не всегда делают то, что мы намереваемся. Иногда это происходит потому, что они недостаточно способны, а иногда — потому, что они не выровнены. Обе проблемы сводятся к целям обучения.

Мы пытаемся решить обе эти проблемы самым прямым и наиболее эффективным способом, доступным нам, что сегодня означает исследование того, как лучше создавать RL-среды, не только для ИИ сегодняшнего дня, но и для ИИ, какими они будут, когда превзойдут нас.

За последний год мы создали RL-среды для нескольких передовых лабораторий, и мы привлекли $16 млн в качестве начального финансирования под руководством a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, где мы создавали инфраструктуру данных и наборы данных для Claude.

О РОЛИ

Модели будущего смогут самостоятельно обучаться задачам, в которых они не очень хорошо разбираются. Мы заинтересованы в исследовании того, как далеко мы можем раздвинуть границы самонаправленного обучения. Мы ищем инженеров-исследователей или ученых-исследователей в области машинного обучения, чтобы продвинуть границы пост-обучения на больших языковых моделях в роли, сочетающей исследования и инжиниринг, требующей от вас внедрения новых подходов и формирования направлений исследований.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ:

• Обучать и оценивать модели в наших проприетарных RL-средах для проверки качества данных, выявления пробелов в охвате задач и замыкания цикла обратной связи между дизайном среды и возможностями модели.
• Архитектурировать и оптимизировать нашу инфраструктуру RL-обучения, от абстракций обучения до распределенного управления экспериментами, используя такие фреймворки, как Verl, OpenRLHF или аналогичные. Помогать масштабировать наши системы для обработки все более сложных исследовательских рабочих процессов.
• Разрабатывать, внедрять и тестировать среды обучения, оценки и методологии для RL-агентов.
• Профилировать и оптимизировать тренировочные запуски от начала до конца, от загрузки данных до вычисления вознаграждения, чтобы максимизировать пропускную способность экспериментов и сократить цикл итераций исследований.

ЧТО МЫ ИЩЕМ

• Опыт работы в отрасли с полными конвейерами пост-обучения LLM для моделей размером не менее 7B.
• Владение Python и PyTorch или JAX.
• Опыт работы с как минимум одним современным фреймворком RL-обучения.
• Опыт создания и эксплуатации инфраструктуры ML в масштабе.

ВЫ МОЖЕТЕ ПОДОЙТИ, ЕСЛИ ВЫ ТАКЖЕ:

• Имеете опыт оценки результатов модели и построения сигналов вознаграждения или оценки.
• Следите за последними исследованиями в области пост-обучения и можете переводить статьи в рабочий код.
• Имеете четкие (но гибкие) мнения о том, как структурировать код RL-обучения для воспроизводимости и быстрой итерации.
• Можете сбалансировать исследовательские изыскания с инженерной строгостью.
• Обладаете сильными навыками системного проектирования и коммуникации.

Кандидатам не обязательно иметь докторскую степень или обширные публикации. Некоторые из лучших исследователей не имеют формального ML-образования и получили опыт, работая над отраслевыми продуктами. Мы верим, что адаптивность в сочетании с исключительными коммуникационными и коллаборативными навыками являются наиболее важными составляющими успешных стартап-исследований.

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентное денежное и акционерное вознаграждение (>90-й процентиль).
• Владение и автономия в быстро развивающейся стартап-среде.
• Возможность работать с ведущими инженерами по машинному обучению.
• Медицинское страхование (зрение, стоматология), льготы.
• Соответствие 401K.
• Обед предоставляется ежедневно на месте.
• Еженедельные заказы закусок.
• Доступно спонсорство визы и помощь при переезде.

Мы ценим разнообразные точки зрения и опыт. Если вы заинтересованы в этой роли, но не соответствуете всем требованиям, мы все равно призываем вас подать заявку.