Member of Technical Staff - AI/ML Infrastructure Engineer, RL Post-training

Вознаграждение: $200K - $350K в год

О НАС

Preference Model — это исследовательская компания в области супер-интеллекта. Мы создаем RL-среды для обучения способным, лучше согласованным супер-интеллектам.

Почти каждый аспект поведения модели определяется сигналами вознаграждения, на которых она обучается. Самая большая проблема современных ИИ заключается в том, что они не всегда делают то, что мы намереваемся. Иногда это связано с тем, что они недостаточно способны, а иногда — с тем, что они не согласованы. Обе проблемы сводятся к целям обучения.

Мы пытаемся решить обе эти проблемы наиболее прямым и эффективным способом, доступным нам, что сегодня означает исследование того, как лучше создавать RL-среды, не только для ИИ сегодняшнего дня, но и для ИИ, какими они будут, когда превзойдут нас в интеллекте.

За последний год мы создали RL-среды для нескольких передовых лабораторий, и нас поддерживает $16 млн начального финансирования под руководством a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, где мы создавали инфраструктуру данных и наборы данных для Claude.

О РОЛИ

Передовые исследования продвигаются только так быстро, как позволяет их инфраструктура. Создание надежной инфраструктуры является основой нашей миссии по продвижению самонаправляемого обучения настолько далеко, насколько это возможно.

Мы ищем старших инженеров по ML-инфраструктуре для создания инфраструктуры и систем, которые обеспечивают работу передовых технологий пост-обучения на больших языковых моделях. Эта роль включает в себя создание масштабируемой инфраструктуры для обеспечения высокопроизводительных систем и формирование того, как проводятся наши исследования, приближая нас к моделям, которые могут самостоятельно обучаться тому, в чем они еще не хороши.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Проектировать, создавать и масштабировать вычислительную, планировочную и инфраструктуру данных, которая обеспечивает работу пост-обучения в наших собственных RL-средах.
• Разрабатывать и поддерживать основные примитивы ML-фреймворков и внутренние инструменты, которыми исследователи пользуются ежедневно, ускоряя воспроизводимые эксперименты и сокращая время от идеи до результата.
• Создавать инфраструктуру для оценки и бенчмаркинга, инструменты мониторинга, логирования и отладки, а также системы автоматизированного тестирования и развертывания, чтобы ошибки улавливались на ранней стадии, а инфраструктура оставалась надежной по мере масштабирования.
• Напрямую сотрудничать с инженерами-исследователями для преобразования исследовательских потребностей в требования к инфраструктуре и быстрого выпуска обновлений в ответ на их отзывы.

ЧТО МЫ ИЩЕМ

• Прочные основы программной инженерии и практический опыт создания производственно-пригодной инфраструктуры для инференса и обучения LLM (в идеале с нуля).
• Опыт создания внутренних компонентов для обучения/инференса LLM, таких как трансформеры, распределенное обучение, и работа с библиотеками инференса, такими как vLLM, SGLang, Megatron.
• Опыт работы с фреймворками обучения RL, такими как Slime, veRL, Ray Train, SkyRL, Miles.
• Значительный опыт и понимание принципов распределенных систем, а также практический опыт работы с облачными платформами (AWS, GCP) и оркестрацией контейнеров (Kubernetes), создание систем для высокопроизводительных, низколатентных рабочих нагрузок.
• Опыт работы с инструментами инженерии данных и создания надежных, масштабируемых конвейеров данных.
• Владение основными ML-фреймворками, такими как PyTorch или JAX.
• Способность балансировать между производственной строгостью и темпом быстро меняющихся исследований, а также четко сообщать о компромиссах в инфраструктуре исследователям, не являющимся специалистами по инфраструктуре.

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентоспособное вознаграждение в виде наличных и акций (>90-го процентиля).
• Владение и автономия в быстро развивающейся стартап-среде.
• Возможность работать вместе с ведущими и штатными инженерами из передовых лабораторий и инфраструктурных компаний, а также лучшими ML-инженерами.
• Медицинское, офтальмологическое, стоматологическое страхование, льготы.
• Сопоставление 401K.
• Обед предоставляется каждый день на месте.
• Еженедельные заказы закусок.
• Доступно спонсорство виз и помощь при переезде.

Мы ценим разнообразные точки зрения и опыт. Если вы заинтересованы в этой роли, но не соответствуете всем требованиям, мы все равно призываем вас подать заявку.