Research Engineer - Data and Evaluation

Должность: Инженер-исследователь — Данные и оценка Местоположение: Сан-Франциско / Удаленно

ВЛАДЕЙТЕ СВОИМ ИНТЕЛЛЕКТОМ

Prime Intellect создает открытый стек супер-интеллекта: инфраструктуру, которую внутренне разрабатывают передовые AI-лаборатории, и делает ее доступной для каждой амбициозной AI-команды.

Наша платформа Lab объединяет вычисления, среды, оценки, безопасные песочницы, высокопроизводительное обучение и развертывание в единую полнофункциональную систему для пост-обучения в масштабах передовых разработок — от SFT и RL до использования инструментов, агентских рабочих процессов и постоянно совершенствующихся производственных моделей. Мы создаем открытый передовой AI: модели с открытым исходным кодом, обученные от начала до конца для выполнения долгосрочных задач, таких как автономные исследования, и полную платформу, которую использует наша собственная исследовательская команда для их создания. Следующему поколению AI-компаний, предприятий и исследовательских команд нужны не просто больше GPU. Им нужна возможность превратить свои собственные рабочие процессы, инструменты, данные и циклы обратной связи в супер-интеллект, которым они владеют.

Prime Intellect привлек в общей сложности 150 миллионов долларов финансирования от Founders Fund, Radical Ventures, NVIDIA и исключительных операторов в области AI, инфраструктуры и корпоративного ПО, включая Андрея Карпатого, Дваркеша Пателя, а также руководителей и основателей Ramp, Perplexity, Harvey, Mercor, Zapier, Datadog, Cognition, OpenAI, Thinking Machines, Together AI, SemiAnalysis, LangChain, Browserbase, Cloudflare, Sierra, Databricks, Airbnb, OpenRouter, Standard Intelligence, Fleet, Core Auto и многих других. Мы ищем людей, которые хотят создавать на стыке передовых исследований, реальной инфраструктуры и вывода на рынок категории, которая еще полностью не существует.

ВЛИЯНИЕ РОЛИ

Создание задач и сред для обучения моделей Prime Intellect с помощью RL, а также оценок, показывающих, на что они действительно способны. Вы будете работать напрямую с исследователями, изучая сбои моделей, начиная с того, как реализована задача, и заканчивая тем, как оценивается успех.

ОБЯЗАННОСТИ

• Разработка и создание сложных оценок для агентов, решающих задачи кодирования и долгосрочные задачи.

• Создание исполняемых сред в Verifiers с реалистичной настройкой задач и четкими критериями успеха.

• Разработка и тестирование логики оценки и верификаторов, изучение бонусных схем (reward hacks) и вводящих в заблуждение мер прогресса.

• Отслеживание сбоев через выходные данные модели и использование кода для различения ограничений модели от проблем в среде или системе оценки.

• Создание и масштабирование конвейеров данных RL, которые генерируют и курируют сложные задачи для кодирования и агентов.

• Работа с исследователями RL для проверки того, улучшают ли изменения в задачах и обучающих данных производительность на отложенных задачах.

ТРЕБОВАНИЯ

• Сильные навыки разработки программного обеспечения на Python и опыт создания конвейеров данных, систем оценки или рабочих процессов ML, используемых другими.

• Практический опыт работы с языковыми моделями или агентами, с пониманием того, как обучающие данные и выбор методов оценки влияют на поведение модели.

• Способность анализировать сложные данные и выходные данные модели, выявлять режимы сбоев и превращать неоднозначный вопрос о качестве в измеримый показатель.

• Опыт самостоятельного ведения технических проектов через эксперименты, реализацию и валидацию, при тесном сотрудничестве с исследователями и инженерами.

• Практический опыт создания технических оценок или сред для агентов, с инженерной глубиной для анализа трассировок моделей и отладки кода для системы проверки и оценки.

Соответствующий опыт может включать:

• Масштабная генерация синтетических данных, курация наборов данных или распределенная обработка для обучения моделей.

• Методология оценки, исполняемые задачи кодирования, среды для агентов, верификаторы или разработка бонусных схем (reward design).

• Анализ экспериментов, статистическое тестирование, обнаружение загрязнений и инструменты для воспроизводимых исследований.

Желательно

• Опыт работы с RL или данными после обучения, включая выбор сложности задач и анализ распределения результатов прогонов или бонусов.

• Вклад в Verifiers, Prime-RL или сопоставимые фреймворки сред и оценки.

• Работа над оценкой на основе моделей, агентами кодирования с долгосрочными задачами или диагностикой эксплуатации бонусных схем.

Мы приветствуем глубокие знания в области генерации данных, сред и бонусных схем, или систем оценки. Вам не обязательно работать во всех областях.

ПРЕИМУЩЕСТВА И БОНУСЫ

• Диапазон денежной компенсации 150–350 тысяч долларов, включая опционы на акции, что соответствует вашему успеху росту и влиянию Prime Intellect.

• Гибкие условия работы с возможностью удаленной работы или работы в офисе в наших офисах в Сан-Франциско.

• Визовая поддержка и помощь в переезде для иностранных кандидатов.

• Ежеквартальные выезды команды, хакатоны, конференции и возможности для обучения.

• Возможность работать с талантливой, трудолюбивой и целеустремленной командой, объединенной общей страстью к использованию технологий для ускорения науки и AI.

Если вас привлекает возможность создать основу для будущего децентрализованного AI и платформу, которая позволит разработчикам и исследователям раздвигать границы возможного, мы будем рады услышать вас.