Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Preference Model
Сан-Франциско, Соединенные Штаты3 дня назад
200 000 – 350 000 USD
в год
Грейд
Senior
Формат работы
Офис
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Preference Model — компания, занимающаяся исследованиями в области сверхмощного искусственного интеллекта. Мы создаем среды обучения с подкреплением (RL) для обучения способных и лучше выровненных сверхразумов.
Почти каждый аспект поведения модели определяется сигналами вознаграждения, на которых она обучается. Самая большая проблема современных ИИ заключается в том, что они не всегда делают то, что мы намереваемся. Иногда это связано с недостаточной способностью, а иногда — с несоответствием нашим целям. Обе проблемы сводятся к целям обучения.
Мы пытаемся решить обе эти проблемы самым прямым и наиболее эффективным способом, который нам доступен, а именно — исследовать, как создавать среды RL лучше, не только для современных ИИ, но и для ИИ, когда они превзойдут нас в интеллекте.
За последний год мы создали среды RL для нескольких передовых лабораторий, и нас поддерживают $16 млн начального финансирования под руководством a16z. Наша команда основателей имеет предыдущий опыт работы в команде данных Anthropic, создавая инфраструктуру данных и наборы данных для Claude.
Исследования на переднем крае продвигаются только со скоростью, которую позволяет инфраструктура. Создание надежной инфраструктуры является основой нашей миссии по максимально возможному развитию самонаправляемого обучения.
Мы ищем старших инженеров по ML-инфраструктуре для создания инфраструктуры и систем, которые обеспечивают работу передовых технологий пост-тренировки на больших языковых моделях. Эта роль включает в себя создание масштабируемой инфраструктуры для обеспечения высокопроизводительных систем и формирование того, как проводятся наши исследования, приближая нас к моделям, которые могут самостоятельно обучаться тому, в чем они еще не сильны.
Мы ценим разнообразные точки зрения и опыт. Если вы заинтересованы в этой роли, но не соответствуете всем требованиям, мы все равно призываем вас подать заявку.
Проектировать, создавать и масштабировать вычислительную, планирующую и информационную инфраструктуру, которая обеспечивает пост-тренировочные исследования в наших собственных средах RL
Разрабатывать и поддерживать основные примитивы ML-фреймворков и внутренние инструменты, которыми исследователи пользуются ежедневно, ускоряя воспроизводимые эксперименты и сокращая время от идеи до результата
Создавать инфраструктуру для оценки и бенчмаркинга, инструменты мониторинга, логирования и отладки, а также системы автоматического тестирования и развертывания, чтобы сбои выявлялись на ранней стадии, а инфраструктура оставалась надежной по мере масштабирования
Напрямую сотрудничать с инженерами-исследователями для преобразования потребностей исследований в требования к инфраструктуре и быстрого выпуска обновлений в ответ на их отзывы
Прочные фундаментальные знания в области инженерии программного обеспечения и практический опыт создания производственной LLM-инфраструктуры для инференса и тренировки (в идеале, с нуля)
Опыт создания внутренних компонентов LLM-тренировки/инференса, таких как трансформеры, распределенная тренировка, и работа с библиотеками инференса, такими как vLLM, SGLang, Megatron
Опыт работы с фреймворками RL-тренировки, такими как Slime, veRL, Ray Train, SkyRL, Miles
Значительный опыт и понимание принципов распределенных систем, а также практический опыт работы с облачными платформами (AWS, GCP) и оркестрацией контейнеров (Kubernetes), создания систем для высокопроизводительных, низколатентных рабочих нагрузок
Опыт работы с инструментами инженерии данных и создания надежных, масштабируемых конвейеров данных
Владение основными ML-фреймворками, такими как PyTorch или JAX
Способность сочетать производственную надежность с темпом быстро развивающихся исследований и четко доносить компромиссы в инфраструктуре до исследователей, не являющихся специалистами по инфраструктуре
Компенсация: $200K - $350K в год
Конкурентная денежная и акционерная компенсация (>90-й процентиль)
Ответственность и автономия в динамичной стартап-среде
Возможность работать бок о бок со старшими и ведущими инженерами из передовых лабораторий и инфраструктурных компаний, а также с лучшими ML-инженерами
Медицинское страхование, страхование зрения, стоматологическое страхование, льготы
Соответствие 401K
Обед предоставляется ежедневно на месте
Еженедельные заказы закусок
Доступно спонсорство виз и поддержка при переезде
Compensation: $200K - $350K per year
Preference Model is a superintelligence data research company. We build RL environments for training capable, better-aligned superintelligences.
Almost every aspect of how a model behaves is shaped by the reward signals it's trained on. The biggest problem with AIs today is that they don't always do what we intend. Sometimes that's because they aren't capable enough, and sometimes that's because they aren't aligned. Both problems come down to the training objectives.
We're trying to address both of these issues in the most direct, highest leverage way available to us, which today means researching how to build RL environments better, not just for the AIs of today but for the AIs as they will be when they outsmart us.
Over the past year, we've built RL environments for several frontier labs, and we're backed by $16M in seed funding led by a16z. Our founding team has previous experience on Anthropic’s data team building data infrastructure, and datasets behind Claude.
Frontier research moves only as fast as its infrastructure permits. Building solid infrastructure is foundational to our mission of pushing self-directed learning as far as it can go.
We are looking for Senior ML Infrastructure Engineers to build the infrastructure and systems that power the frontier of post-training on large language models. This role involves building scalable infrastructure to enable high-throughput systems and shape how our research is run, bringing us closer to models that can train themselves on what they aren't yet good at.
Design, build, and scale the compute, scheduling, and data infrastructure that powers post-training research on our in-house RL environments
Develop and maintain core ML framework primitives and internal tooling that researchers rely on daily, accelerating reproducible experimentation and reducing time from idea to result
Build evaluation and benchmarking infrastructure, monitoring, logging, and debugging tooling, and automated testing and deployment systems, so failures are caught early and infrastructure stays reliable as it scales
Partner directly with Research Engineers to translate research needs into infrastructure requirements, and ship fast in response to their feedback
Strong software engineering fundamentals and hands-on experience building production-grade LLM inference and training infrastructure (ideally from the ground up)
Experience building LLM training/inference internals such as transformers, distributed training, and working on inference libraries like vLLM, SGLang, Megatron
Experience working on RL training frameworks like Slime, veRL, Ray Train, SkyRL, Miles
Significant experience and understanding of distributed systems principles, and have hands-on experience with cloud platforms (AWS, GCP) and container orchestration (Kubernetes), building systems for high-throughput, low-latency workloads
Have experience with data engineering tools and building robust, scalable data pipelines
Proficiency in core ML frameworks such as PyTorch or JAX
Can balance production rigor with the pace of fast-moving research, and communicate infrastructure tradeoffs clearly to researchers who aren't infra specialists
Competitive cash and equity compensation (>90th percentile)
Ownership and autonomy in a fast moving startup environment
Opportunity to work alongside senior and staff engineers from frontier labs and infrastructure companies, plus top ML engineers
Health, vision, dental, benefits
401K match
Lunch provided everyday onsite
Weekly snack orders
Visa sponsorship & relocation support available
We value diverse perspectives and experiences. If you're excited about this role but don't check every box, we still encourage you to apply.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 275 000 до 346 000
