Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Preference Model
Сан-Франциско, Соединенные Штаты4 дня назад
180 000 – 350 000 USD
в год
Грейд
Senior
Опыт работы
от 5 лет
Формат работы
Офис
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Preference Model — компания, занимающаяся исследованиями в области супер ИИ. Мы создаем RL-среды для обучения способных, лучше выровненных супер ИИ.
Почти каждый аспект поведения модели определяется сигналами вознаграждения, на которых она обучается. Самая большая проблема современных ИИ заключается в том, что они не всегда делают то, что мы намереваемся. Иногда это происходит потому, что им не хватает возможностей, а иногда — потому, что они не выровнены. Обе проблемы сводятся к целям обучения.
Мы пытаемся решить обе эти проблемы самым прямым и наиболее эффективным способом, доступным нам, что сегодня означает исследование того, как лучше создавать RL-среды — не только для ИИ сегодняшнего дня, но и для ИИ, какими они будут, когда превзойдут нас.
За последний год мы создали RL-среды для нескольких передовых лабораторий, и мы получили $16 млн. начального финансирования под руководством a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, где мы создавали инфраструктуру данных и наборы данных для Claude.
RL-среда полезна только после того, как она надежно запущена в тренировочном стеке лаборатории. Каждая создаваемая нами среда должна быть упакована, изолирована, запущена в масштабе, проверена на соответствие требованиям каждой лаборатории и доставлена в формате, который ожидает платформа этой лаборатории. Большая часть этой работы сегодня все еще выполняется вручную, и это отнимает время у людей, занимающихся разработкой сред.
В качестве MTS в нашей команде ML Platform вы будете отвечать за системы, которые доставляют среду из репозитория разработчика к тренировочному запуску в лаборатории. Это включает Karotte, нашу open-source платформу для определения RL-сред, внутреннюю платформу, которая создает, запускает и рецензирует среды на CPU, GPU и TPU, а также интеграции, которые доставляют их в каждую лабораторию, с которой мы работаем. Это старшая роль инженера ML Platform, где вы будете обеспечивать чистое выполнение и доставку того, что строит наша команда Capabilities.
Вы присоединитесь к небольшой команде Platform и будете напрямую работать с разработчиками сред и пост-тренировочными исследователями. В первые шесть месяцев ваш успех будет заключаться в том, чтобы путь доставки в каждую партнерскую лабораторию был в основном автоматизирован: задачи, отмеченные как готовые, будут создаваться, проверяться на соответствие требованиям лаборатории и упаковываться без ручной работы. Наши потребности быстро меняются, поэтому вы также будете заниматься другой работой по платформе и инфраструктуре по мере изменения приоритетов.
Вознаграждение: $180K - $350K в год
Compensation: $180K - $350K per year
Preference Model is a superintelligence data research company. We build RL environments for training capable, better-aligned superintelligences.
Almost every aspect of how a model behaves is shaped by the reward signals it's trained on. The biggest problem with AIs today is that they don't always do what we intend. Sometimes that's because they aren't capable enough, and sometimes that's because they aren't aligned. Both problems come down to the training objectives.
We're trying to address both of these issues in the most direct, highest leverage way available to us, which today means researching how to build RL environments better, not just for the AIs of today but for the AIs as they will be when they outsmart us.
Over the past year, we've built RL environments for several frontier labs, and we're backed by $16M in seed funding led by a16z. Our founding team has previous experience on Anthropic’s data team building data infrastructure, and datasets behind Claude.
An RL environment is only useful once it runs reliably inside a lab's training stack. Every environment we build has to be packaged, sandboxed, run at scale, checked against each lab's requirements, and delivered in the format that lab's platform expects. Much of that work is still manual today, and it takes time away from the people designing environments.
As an MTS on our ML Platform team, you will own the systems that take an environment from a builder's repo to a lab's training run. That includes Karotte, our open-source framework for defining RL environments, the internal platform that builds, runs, and reviews environments on CPU, GPU, and TPU, and the integrations that deliver them to each lab we work with. This is a senior ML platform engineering role where you will ensure what our Capabilities team builds runs and ships cleanly.
You'll join a small Platform team and work directly with environment builders and post-training researchers. In your first six months, success looks like a delivery path to each partner lab that is mostly automated: tasks marked ready get built, validated against that lab's requirements, and packaged without hand work. Our needs change quickly, so you'll also pick up other platform and infrastructure work as priorities shift.
We value diverse perspectives and experiences. If you're excited about this role but don't check every box, we still encourage you to apply.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 271 000 до 324 000
