Должность: Member of Technical Staff, ML Platform Компания: Runway Местоположение: Удаленно

Мы создаем ИИ для симуляции мира, объединяя искусство и науку.

Мы считаем, что мировые модели находятся на переднем крае прогресса в области искусственного интеллекта. Одних только языковых моделей не хватит для решения самых сложных мировых проблем — робототехники, болезней, научных открытий. Реальный прогресс требует моделей, которые испытывают мир и учатся на своих ошибках, так же, как это делают люди. И такой метод проб и ошибок может быть значительно ускорен при работе в симуляции, а не в реальном мире.

Мировые модели предлагают наиболее четкий путь к универсальной симуляции, меняя способы рассказывания историй, научного прогресса и достижения новых рубежей человечества.

Наша команда состоит из креативных, открытых, заботливых и амбициозных людей, полных решимости изменить мир. Мы стремимся постоянно создавать невозможное, и наша способность делать это зависит от формирования невероятной команды. Если вы движимы тем же, мы будем рады услышать вас.

О РОЛИ

Мы ищем инженера по инфраструктуре ML, который будет полностью отвечать за оценку моделей в Runway. Каждое наше решение относительно модели — какой чекпойнт продолжить обучать, что выпустить для миллионов пользователей, какая комбинация данных и архитектура показывает наибольший потенциал — опирается на оценку. Сегодня эта работа распределена по всей организации. Вы объедините ее в одну платформу.

Ваша задача будет заключаться в проектировании и создании систем, которые генерируют выборки в масштабе, оценивают их с помощью автоматических метрик и аннотаций человека, отслеживают результаты между чекпойнтами и релизами, и предоставляют результаты исследователям за минуты, а не дни. Вы определите, что такое «лучше» в операционном плане — как мы это измеряем, насколько мы уверены, и как результат становится решением «выпускать/не выпускать».

Вы будете тесно сотрудничать с исследовательскими командами в качестве члена ML Platform и определять техническое направление для оценки моделей по всей компании. Это роль с чрезвычайно высоким рычагом воздействия: качество наших моделей ограничено тем, насколько хорошо мы можем их измерить.

ЗАГЛЯНЕМ В НАШ ТЕХНИЧЕСКИЙ СТЭК

Наш код для инференса и обучения написан на Python (PyTorch) и является облачным. Мы используем несколько облаков и комбинацию облачных инструментов и собственных разработок для эффективной оркестрации задач.

Мы активно используем агентную разработку и эксплуатацию. У нас есть надежная внутренняя платформа и широкий доступ к новейшим моделям и инструментам.

У вас будет доступ к лучшим моделям, агентам, GPU, хранилищам и облачным сервисам, необходимым для создания передовой конвейера оценки, которая поможет нам поставлять передовые модели.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Полностью отвечать за платформу оценки: инструменты и системы, необходимые для генерации, аннотирования, обзора и адаптации в передовом масштабе.
• Определять CLI, API, GUI и уровни хранения, необходимые для того, чтобы этот процесс был бесшовным, быстрым, сложным и совместным.
• Работать напрямую с исследовательскими командами в области видео, изображений, аудио, агентов и робототехники, чтобы понять, что им нужно измерять, и создавать это, затем обобщать результаты в платформу.
• Помогать устанавливать стандарты оценки моделей в Runway: воспроизводимость, определения метрик, форматы отчетов и то, когда результат достаточно надежен, чтобы на него можно было действовать.
• Поддерживать широкое внедрение платформы и ее интеграцию во все исследовательские усилия Runway, включая обучение, обслуживание производственных моделей и многое другое.
• Вносить вклад в инструменты и системы, которые помогают Runway обучать и обслуживать передовые модели, в качестве члена команды ML Platform.

ЧТО ВАМ ПОНАДОБИТСЯ

• Более 5 лет опыта создания ML-инфраструктуры или платформ данных в производственных средах, причем хотя бы часть этого времени была посвящена системам оценки, экспериментов или бенчмаркинга.
• Отличное знание Python и PyTorch, а также практический опыт работы с большими пакетными GPU-нагрузками на Kubernetes.
• Опыт проектирования конвейеров данных и хранилищ для больших объемов медиа или результатов работы моделей, с уделением внимания версионированию и воспроизводимости.
• Знакомство с экспериментальной статистикой: парные сравнения, доверительные интервалы, ошибки множественных сравнений, межнаблюдательская согласованность.
• Уверенность в создании внутренних инструментов «под ключ», от командной строки до браузера.
• Способность руководить широкой технической областью: собирать требования от множества команд, определять направление, идти на компромиссы и разрабатывать дорожную карту без необходимости получать указания.
• Знакомство с полным жизненным циклом разработки моделей: данные, обучение, оценка, обслуживание.
• Самостоятельность, способность работать в тесном сотрудничестве с исследовательскими командами и быстро двигаться вперед.
• Сильное системное мышление и прагматичный подход к надежности производства.
• Скромность и открытость; в Runway мы любим учиться друг у друга.

ПРИЯТНО ИМЕТЬ

• Опыт создания наборов для оценки генеративных моделей.
• Практический опыт работы с конвейерами LLM- или VLM-as-judge.
• Опыт работы с платформами онлайн-экспериментов и связывания офлайн-метрик с результатами продукта.
• Предыдущий опыт оценки агентов или робототехнических политик.

Runway стремится привлекать и удерживать исключительных специалистов из разных слоев общества, обеспечивая справедливую оплату труда нашей команде. Наши диапазоны заработной платы основаны на конкурентных рыночных ставках для нашего размера, стадии развития и отрасли, и зарплата — это лишь часть общего компенсационного пакета, который мы предоставляем.

При определении заработной платы учитывается множество факторов, включая релевантный опыт, уровень навыков и квалификацию, оцененные в процессе собеседования, а также поддержание внутренней справедливости по отношению к коллегам по команде. Указанный ниже диапазон является общим ожиданием для указанной должности, но мы также готовы рассматривать кандидатов с большим или меньшим опытом, чем указано в описании вакансии. В этом случае мы сообщим о любых обновлениях ожидаемого диапазона заработной платы.

Наконец, указанный диапазон — это ожидаемая заработная плата для кандидатов из США. За пределами этих регионов возможны изменения в диапазоне, о которых мы снова же сообщим кандидатам.

РАБОТА В RUNWAY

Великие дела рождаются в великих командах. Мы будем рады услышать вас.

Мы стремимся создать пространство, где наши сотрудники могут быть самими собой и иметь равные возможности для успеха. Поэтому, независимо от расы, гендерной идентичности или самовыражения, сексуальной ориентации, религии, происхождения, инвалидности, возраста, статуса ветерана, если эта миссия вас привлекает, мы призываем вас подать заявку.

Подробнее о Runway

• Universal World Simulator
• GWM-1
• Gen-4.5
• General World Models
• Robotics SDK
• Conversational Real-time Agents
• Runway Studios

Мы рады быть признанными лучшим местом для работы:

Crain's | InHerSight | BuiltIn NYC | INC