Research Engineer - Distributed Training

ВЛАДЕЙТЕ СВОИМ ИНТЕЛЛЕКТОМ

Prime Intellect создает стек открытого сверхинтеллекта: инфраструктуру, которую AI-лаборатории создают внутри, теперь доступную каждой амбициозной AI-команде.

Наша платформа Lab объединяет вычисления, среды, оценки, безопасные песочницы, высокопроизводительное обучение и развертывание в единую полнофункциональную систему для обучения на переднем крае — от SFT и RL до использования инструментов, рабочих процессов агентов и постоянно улучшаемых производственных моделей. Мы создаем открытый AI на переднем крае: модели с открытым исходным кодом, обученные от начала до конца для решения долгосрочных задач, таких как автономные исследования, и полный стек платформы, который наша собственная исследовательская команда использует для их создания. Следующему поколению AI-компаний, предприятий и исследовательских команд нужны не просто больше GPU. Им нужна возможность превращать свои собственные рабочие процессы, инструменты, данные и циклы обратной связи в принадлежащий им сверхинтеллект.

Мы обучаем открытые модели на переднем крае и поставляем тот же стек нашим клиентам. Он охватывает полный стек обучения, развертывания и постоянного улучшения моделей — вычисления, крупномасштабное RL, среды, песочницы, оценки и развертывание.

Prime Intellect привлекла в общей сложности 150 миллионов долларов от Founders Fund, Radical Ventures, NVIDIA и выдающихся специалистов в области AI, инфраструктуры и корпоративного бизнеса — включая Андрея Карпатого, Дваркеша Пателя, а также руководителей и основателей Ramp, Perplexity, Harvey, Mercor, Zapier, Datadog, Semianalysis, Cognition, OpenAI, Thinking Machines, Together AI, SemiAnalysis, LangChain, Browserbase, Cloudflare, Sierra, Databricks, Airbnb, OpenRouter, Standard Intelligence, Fleet, Core Auto и многих других. Мы ищем людей, которые хотят работать на стыке передовых исследований, реальной инфраструктуры и вывода на рынок для категории, которой еще не существует.

ВЛИЯНИЕ РОЛИ

Создание и оптимизация инфраструктуры распределенного обучения для наших рабочих нагрузок предварительного обучения и крупномасштабного RL-обучения путем внесения вклада в нашу систему prime-rl.

• Создание и оптимизация инфраструктуры распределенного обучения для наших рабочих нагрузок предварительного обучения и крупномасштабного RL-обучения путем внесения вклада в нашу систему prime-rl

• Улучшение сквозной эффективности обучения на уровнях вычислений, памяти, сети и планирования

• Проектирование и реализация низкоуровневых оптимизаций производительности, включая ядра, пути передачи данных и улучшения времени выполнения

• Работа с распределенными системами обучения, охватывающими рабочие нагрузки параллелизма данных, тензоров и конвейеров

• Участие в формировании архитектуры нашего стека RL-обучения, включая асинхронные развертывания и пост-обучающие системы

• Внесение вклада в библиотеки с открытым исходным кодом и внутреннюю инфраструктуру, используемую для обучения моделей на переднем крае

• Тесное сотрудничество с исследователями и инженерами по инфраструктуре для преобразования узких мест в конкретные системные улучшения

• Быть на переднем крае систем обучения, систем инференса, компиляторного/runtime-инструментария и методов оптимизации с учетом аппаратного обеспечения

• Значительный опыт системной инженерии в области AI/ML-инфраструктуры, особенно в области крупномасштабного обучения или инференса моделей

• Глубокое знакомство с PyTorch и фреймворками распределенного обучения, такими как PyTorch Distributed, DeepSpeed, FSDP, Megatron, vLLM, Ray или аналогичными инструментами

• Опыт оптимизации производительности обучения по ядрам, перемещению памяти, накладным расходам на связь или стратегии параллелизации

• Практический опыт крупномасштабных методов обучения, включая параллелизм данных, параллелизм тензоров и параллелизм конвейеров

• Глубокое понимание архитектуры GPU, профилирования и отладки производительности

• Способность выявлять узкие места во всем стеке и добиваться улучшений с нуля

• Готовность работать в динамичной среде с неясными проблемами и высокой ответственностью

• Опыт написания или оптимизации ядер CUDA / Triton

• Опыт оптимизации компиляторов или времени выполнения для ML-систем

• Опыт работы с инфраструктурой RL-обучения, системами развертывания или асинхронными конвейерами обучения

• Опыт работы с многоузловыми GPU-кластерами и высокопроизводительными сетями

• Вклад в проекты ML-систем или инфраструктуры с открытым исходным кодом

• Интерес к публикации технических работ или обмену идеями через инженерные блоги и технические статьи

• Диапазон денежной компенсации от 150 до 350 тысяч долларов, включая опционы на акции, что согласует ваш успех с ростом и влиянием Prime Intellect

• Гибкие условия работы с возможностью удаленной работы или работы в офисе в наших офисах в Сан-Франциско

• Спонсорство визы и помощь при переезде для иностранных кандидатов

• Ежеквартальные выездные мероприятия команды, хакатоны, конференции и возможности для обучения

• Возможность работать с талантливой, трудолюбивой и целеустремленной командой, объединенной общей страстью к использованию технологий для ускорения науки и AI