Staff Software Engineer, RL Environments

Компенсация (см. подзаголовок вакансии, чтобы узнать, где будет располагаться эта должность. В целях прозрачности оплаты труда, базовый диапазон заработной платы для этой должности с полной занятостью в Сан-Франциско, Нью-Йорке, Сиэтле составляет:): 252 000 – 315 000 долларов США в год

О Scale AI В Scale наша миссия — разрабатывать надежные системы ИИ для принятия важнейших мировых решений. Наши продукты предоставляют высококачественные данные и полностековые технологии, которые питают ведущие мировые модели, и помогают предприятиям и правительствам создавать, развертывать и контролировать приложения ИИ, которые приносят реальную пользу. Scale Frontier Data — это организация, отвечающая за данные для обучения и оценки, на которые полагаются передовые лаборатории. Мы создаем системы, инструменты и экспертные рабочие процессы, которые преобразуют сложные человеческие знания в сигналы, на которых могут обучаться модели, охватывая рассуждения, кодирование, использование агентами инструментов и экспертные знания в предметной области. Среды обучения с подкреплением (RL) теперь являются центром этой работы: разница между моделью, которая хорошо демонстрируется, и моделью, которая надежно выполняет долгосрочные задачи, почти всегда заключается в качестве сред и сигналов вознаграждения, на которых она обучалась. Обязанности В качестве старшего инженера-программиста по средам RL вы будете отвечать за техническую основу того, как Scale создает, запускает, проверяет и поставляет среды RL в масштабе. Среда RL — это реальный программный продукт: контейнеризированный мир с реальными зависимостями, реальным состоянием, реальными инструментами и оценщиком, который должен быть корректным, даже когда агент проявляет креативность в его нарушении. Создание такой среды — это полностековая инженерная задача. Создание тысяч таких сред воспроизводимо, дешево, с надежными сигналами вознаграждения и пропускной способностью, измеряемой миллионами прогонов, — это системная задача, которую мало кто решил. Вы будете работать над обоими аспектами. Вы будете проектировать платформу: песочницу для выполнения, упаковку и версионирование сред, оркестрацию прогонов, захват траекторий, фреймворки для верификаторов и поверхности для создания, которые позволяют инженерам и экспертам в предметной области создавать среды, не переизобретая инфраструктуру каждый раз. И вы будете глубоко погружаться в сами среды, инструментируя реальные приложения, проектируя наборы задач, которые выявляют конкретные пробелы в возможностях, и создавая оценщики, которые выдерживают состязательную оптимизацию. Это практическая инженерная роль. Вы будете определять техническое направление для нескольких команд, и вы все равно будете тем, кто пишет сложную часть. Требуемые квалификации 8+ лет опыта работы инженером-программистом с прочными основами в распределенных системах, системном проектировании, структурах данных и алгоритмах. Отличные навыки работы с Python и подтвержденный опыт выпуска программного обеспечения для производства; уверенность как минимум в одной другой части стека (TypeScript/React, Go, Rust или аналогичные). Глубокий опыт работы с контейнеризацией и песочницей для выполнения, включая Docker, VM, gVisor/Firecracker, Kubernetes или аналогичные. Опыт создания или эксплуатации высокопроизводительных серверных систем: оркестрация, планирование заданий, очереди и крупномасштабные конвейеры данных. Практический опыт работы с LLM, включая агентные циклы, вызовы инструментов, MCP или средства оценки, и достаточное понимание поведения моделей, чтобы рассуждать о том, чему на самом деле учит сигнал обучения. Подтвержденная способность самостоятельно решать неопределенные, нечетко определенные проблемы от начала до конца и воплощать их в готовые системы. Отличные письменные и устные коммуникативные навыки; способность согласовывать инженеров, исследователей и нетехнических партнеров по техническому направлению. Предпочтительные квалификации RL и постобучение Прямой опыт создания сред RL, агентных бенчмарков или средств оценки (наборы задач в стиле SWE-bench, терминальные или браузерные среды, бенчмарки использования инструментов или внутренние аналоги). Знакомство с методами постобучения: RLHF, RLAIF, RLVR, алгоритмы семейства GRPO/PPO, отбраковочная выборка, моделирование вознаграждения и практические сбои каждого метода. Опыт проектирования проверяемых сигналов вознаграждения и практический опыт работы с взломом вознаграждения и способами защиты от него. Опыт работы со стеками обучения или обслуживания RL (verl, TRL, Ray, vLLM, SGLang или аналогичные). Системы и инфраструктура Опыт работы с высокомасштабными инфраструктурами песочницы или выполнения кода, средами удаленной разработки или системами CI. Опыт работы с облачной инфраструктурой в AWS/GCP/Azure, Infrastructure as Code и CI/CD. Сильные инстинкты в области наблюдаемости: трассировка, структурированное журналирование и метрики для систем, режимы сбоев которых статистические, а не бинарные. Опыт создания внутренних инструментов, которыми ежедневно пользуются неинженеры, особенно интерфейсов для обзора и аннотирования данных. Способы работы Опыт работы инженером, тесно связанным с исследованиями, преобразования исследовательских целей в производственные системы. Опыт прямой работы с искушенными внешними техническими клиентами. Предыдущее техническое руководство на уровне staff или выше в быстро меняющейся, неоднозначной среде. Компенсационные пакеты Scale для соответствующих должностей включают базовую заработную плату, опционы на акции и льготы. Диапазон, отображаемый в каждом описании вакансии, отражает минимум и максимум целевой заработной платы для нового сотрудника на данной должности и может включать несколько карьерных уровней в Scale; он будет определяться в процессе собеседования в зависимости от места работы и дополнительных факторов, включая связанные с работой навыки, опыт, квалификацию, результаты собеседования и соответствующее образование или обучение. Сотрудникам Scale на соответствующих должностях также предоставляются опционы на акции, подлежащие утверждению Советом директоров. Ваш рекрутер может предоставить более подробную информацию о конкретном диапазоне заработной платы для предпочитаемого вами местоположения в процессе найма и подтвердить, будет ли предложенная должность иметь право на получение опционов. Вы также получите льготы, включая, но не ограничиваясь: комплексное медицинское, стоматологическое и офтальмологическое страхование, пенсионные льготы, стипендию на обучение и развитие, а также щедрый отпуск. Кроме того, эта должность может иметь право на дополнительные льготы, такие как стипендия на проезд. Пожалуйста, обратитесь к подзаголовку вакансии, чтобы узнать, где будет располагаться эта должность. В целях прозрачности оплаты труда, базовый диапазон заработной платы для этой должности с полной занятостью в Сан-Франциско, Нью-Йорке, Сиэтле составляет: $252 000 — $315 000 USD ВНИМАНИЕ: Наша политика требует 90-дневного периода ожидания перед повторным рассмотрением кандидатов на ту же должность. Это позволяет нам обеспечить справедливую и тщательную оценку всех заявителей. О нас: В Scale наша миссия — разрабатывать надежные системы ИИ для принятия важнейших мировых решений. Наши продукты предоставляют высококачественные данные и полностековые технологии, которые питают ведущие мировые модели, и помогают предприятиям и правительствам создавать, развертывать и контролировать приложения ИИ, которые приносят реальную пользу. Мы тесно сотрудничаем с лидерами отрасли, такими как Meta, Ernst & Young, Mayo Clinic, Time Inc., правительство Катара и государственные учреждения США, включая Армию и ВВС. Мы расширяем нашу команду, чтобы ускорить разработку приложений ИИ. Мы считаем, что каждый должен иметь возможность быть собой на работе, поэтому мы гордимся инклюзивным рабочим местом, основанным на равных возможностях. Мы стремимся к равному трудоустройству независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности или статуса ветерана. Мы стремимся работать и предоставлять разумные приспособления для соискателей с физическими и умственными нарушениями. Если вам нужна помощь и/или разумное приспособление в процессе подачи заявления или найма из-за инвалидности, свяжитесь с нами по адресу контакт рекрутера. Пожалуйста, ознакомьтесь с плакатом Министерства труда США "Знайте свои права" для получения дополнительной информации. Мы соблюдаем Положение о прозрачности оплаты труда Министерства труда США. ВНИМАНИЕ: Мы собираем, сохраняем и используем персональные данные для наших профессиональных деловых целей, включая уведомление вас о вакансиях, которые могут представлять интерес, и передачу нашим аффилированным лицам. Мы ограничиваем сбор персональных данных теми, которые, по нашему мнению, являются подходящими и необходимыми для удовлетворения потребностей заявителей, предоставления наших услуг и соблюдения применимых законов. Любая информация, которую мы собираем в связи с вашей заявкой, будет обрабатываться в соответствии с нашими внутренними политиками и программами, разработанными для защиты персональных данных. Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности для получения дополнительной информации.