Research Engineer / Scientist - Reinforcement Learning

Должность: Инженер-исследователь / Ученый — обучение с подкреплением Местоположение: Сан-Франциско / Удаленно

ВЛАДЕЙТЕ СВОИМ ИНТЕЛЛЕКТОМ

Prime Intellect создает стек открытого сверхинтеллекта: инфраструктуру, которую внутренне создают передовые AI-лаборатории, делая ее доступной для каждой амбициозной AI-команды.

Наша платформа Lab объединяет вычисления, окружения, оценки, безопасные песочницы, высокопроизводительное обучение и развертывание в единую полнофункциональную систему для постобучения в передовом масштабе — от SFT и RL до использования инструментов, рабочих процессов агентов и постоянно совершенствующихся производственных моделей. Мы создаем открытый передовой AI: модели с открытым исходным кодом, обученные от начала до конца для выполнения долгосрочных задач, таких как автономные исследования, и полнофункциональную платформу, которую наша собственная исследовательская команда использует для их создания. Следующему поколению AI-компаний, предприятий и исследовательских команд нужны не просто дополнительные GPU. Им нужна возможность превратить собственные рабочие процессы, инструменты, данные и циклы обратной связи в сверхинтеллект, которым они владеют.

Prime Intellect привлекла в общей сложности 150 миллионов долларов финансирования от Founders Fund, Radical Ventures, NVIDIA и выдающихся операторов в области AI, инфраструктуры и корпоративных решений — включая Андрея Карпатого, Дваркеша Пателя, а также лидеров и основателей из Ramp, Perplexity, Harvey, Mercor, Zapier, Datadog, Cognition, OpenAI, Thinking Machines, Together AI, SemiAnalysis, LangChain, Browserbase, Cloudflare, Sierra, Databricks, Airbnb, OpenRouter, Standard Intelligence, Fleet, Core Auto и других. Мы ищем людей, которые хотят создавать на стыке передовых исследований, реальной инфраструктуры и вывода на рынок категории, которая еще не полностью существует.

ВЛИЯНИЕ РОЛИ

Помощь в разработке алгоритмов и систем, используемых для обучения открытых моделей Prime Intellect с помощью обучения с подкреплением. Мы нанимаем инженеров-исследователей и ученых, специализирующихся на алгоритмах RL, масштабировании исследований и фреймворках обучения. Ваша роль будет отражать ваши сильные стороны; вам не нужно охватывать все три направления.

ОБЯЗАННОСТИ

Исследование алгоритмов

• Разработка и тестирование методов RL для задач рассуждения, кодирования и долгосрочных задач, включая изменения в целевых функциях обучения и оптимизации политик.

• Исследование стабильности в асинхронном RL, включая устаревание политик, несоответствие между тренером/семплером и численные различия между обучением и выборками.

• Работа с исследователями данных и оценок для понимания того, как выбор задач, вознаграждений и обучающих данных влияет на то, что изучает модель.

Масштабирование науки

• Проектирование экспериментов для понимания того, как производительность RL и динамика обучения изменяются с размером модели, вычислительными ресурсами для обучения и горизонтом задач.

• Использование контролируемых абляций и оценок для различения выигрышей в обучении от эксплуатации вознаграждений, артефактов оценки или ошибок обучения.

• Преобразование экспериментальных результатов в рецепты обучения, а затем тестирование того, сохраняются ли улучшения при работе с более крупными моделями и более длительных запусках.

Фреймворки RL

• Расширение prime-rl для поддержки новых алгоритмов, моделей и асинхронных рабочих процессов обучения.

• Повышение производительности и численной корректности исследовательских запусков на тренерах, работниках выборки и окружениях, работая с командой инфраструктуры.

• Создание диагностических инструментов, которые облегчают воспроизведение нестабильных запусков и регрессий производительности, а также помогают отличать проблемы алгоритмов от проблем реализации или времени выполнения.

ТРЕБОВАНИЯ

• Подтвержденная глубина знаний по крайней мере в одной из областей: алгоритмы RL, эмпирические исследования обучения моделей или распределенные ML-системы. Это может быть подтверждено исследованиями, вкладом в open-source или созданными вами системами.

• Сильные навыки программирования на Python и опыт работы с PyTorch или аналогичным ML-фреймворком.

• Способность проектировать контролируемые эксперименты, интерпретировать результаты и отлаживать неожиданное поведение моделей или систем.

• Опыт прохождения пути от исследовательской идеи или системного изменения до реализации, тестирования и оценки с четким описанием того, что сработало, а что нет.

Желательно

• Опыт работы с фреймворками распределенного обучения или конвейерами асинхронной выборки.

• Опыт диагностики нестабильных запусков RL, включая устаревание политик или численные проблемы.

• Работа над агентами кодирования, проверяемыми вознаграждениями или средами с длительным горизонтом.

ПРЕИМУЩЕСТВА И БОНУСЫ

• Диапазон денежной компенсации от 150 000 до 350 000 долларов США, включая опционы на акции, что соотносит ваш успех с ростом и влиянием Prime Intellect.

• Гибкие условия работы с возможностью удаленной работы или работы в наших офисах в Сан-Франциско.

• Спонсорство виз и помощь при переезде для международных кандидатов.

• Ежеквартальные выездные мероприятия команды, хакатоны, конференции и возможности для обучения.

• Возможность работать в талантливой, трудолюбивой и целеустремленной команде, объединенной общей страстью к использованию технологий для ускорения науки и AI.

Если вас привлекает возможность построить фундамент для будущего децентрализованного AI и создать платформу, которая позволит разработчикам и исследователям раздвигать границы возможного, мы будем рады услышать вас.