Research Engineer - Pre-training Data

Title: Research Engineer - Pre-training Data Location: San Francisco / Remote

OWN YOUR INTELLIGENCE

Prime Intellect создает открытый стек супер-интеллекта: инфраструктурный рубеж, который ИИ-лаборатории разрабатывают внутри, но который доступен каждой амбициозной ИИ-команде.

Наша платформа, Lab, объединяет вычисления, среды, оценки, безопасные песочницы, высокопроизводительное обучение и развертывание в единую полнофункциональную систему для пост-тренинга в масштабе передовых технологий — от SFT и RL до использования инструментов, рабочих процессов агентов и постоянно совершенствуемых производственных моделей. Мы создаем открытый ИИ передовых технологий: модели с открытым исходным кодом, обученные от начала до конца для выполнения долгосрочных задач, таких как автономные исследования, и полнофункциональную платформу, которую наша собственная исследовательская команда использует для их создания. Следующее поколение ИИ-компаний, предприятий и исследовательских команд нуждается не просто в большем количестве GPU. Им нужна возможность превращать свои собственные рабочие процессы, инструменты, данные и циклы обратной связи в супер-интеллект, которым они владеют.

Prime Intellect привлек в общей сложности 150 миллионов долларов финансирования от Founders Fund, Radical Ventures, NVIDIA и выдающихся операторов в области ИИ, инфраструктуры и предприятий, включая Андрея Карпатого, Дваркеша Пателя, а также руководителей и основателей Ramp, Perplexity, Harvey, Mercor, Zapier, Datadog, Cognition, OpenAI, Thinking Machines, Together AI, SemiAnalysis, LangChain, Browserbase, Cloudflare, Sierra, Databricks, Airbnb, OpenRouter, Standard Intelligence, Fleet, Core Auto и других. Мы ищем людей, которые хотят создавать на пересечении передовых исследований, реальной инфраструктуры и вывода на рынок категории, которая еще не существует.

ROLE IMPACT

Создавайте данные для нового поколения открытых моделей Prime Intellect. Вы будете находить ценные источники, преобразовывать их в готовые к обучению корпуса и работать с исследователями, чтобы проверить, что именно улучшает модель. Ваша работа будет формировать как широкое предварительное обучение, так и данные, используемые для разработки возможностей рассуждения, кодирования и работы с длинным контекстом.

RESPONSIBILITIES

• Находить, оценивать и собирать ценные обучающие данные из веб-ресурсов, кода и технических источников.

• Создавать масштабируемые конвейеры, которые преобразуют необработанные данные в готовые к обучению корпуса путем извлечения, очистки, дедупликации и фильтрации.

• Разрабатывать проверки качества данных, охвата и загрязнения, а также использовать их для улучшения сбора и обработки.

• Работать с исследователями над смесями данных и стратегиями выборки для предварительного обучения и промежуточного обучения.

• Готовить и оценивать данные для обучения с длинным контекстом, рассуждения и кодирования, тестируя синтетические данные там, где это окажется полезным.

• Проводить контролируемые эксперименты с данными и использовать оценки моделей для определения того, какие источники, смеси и варианты обработки стоит масштабировать.

• Обеспечивать эффективность, воспроизводимость и восстанавливаемость крупномасштабной обработки данных с четким указанием происхождения источников и версионированием наборов данных.

REQUIREMENTS

• Сильные навыки программирования на Python и опыт создания надежных систем обработки данных или распределенных систем.

• Опыт работы с большими наборами данных и управления практическими компромиссами между хранением, вычислениями, пропускной способностью и воспроизводимостью.

• Способность диагностировать проблемы с качеством данных и переводить исследовательские цели в измеримые проверки и эксперименты.

• Комфортное владение развивающейся технической проблемой от начала до конца и тесное сотрудничество с исследователями для проверки предположений и улучшения системы.

Relevant experience may include:

• Веб-краулинг, извлечение документов, сбор данных кода или курирование крупномасштабных корпусов.

• Дедупликация, классификация текстов, оценка качества, синтетические данные или анализ загрязнения обучающих данных.

• Эксперименты со смесями данных, обучение по программе, или измерение влияния изменений наборов данных на производительность моделей.

Nice to have

• Опыт подготовки наборов данных для предварительного обучения языковых моделей, продолженного предварительного обучения или промежуточного обучения.

• Работа с фреймворками распределенной обработки, такими как Spark, Ray или аналогичными системами.

• Опыт работы с многоязычными, математическими, научными данными или данными кода на уровне репозиториев.

• Знакомство с токенизацией, загрузчиками обучающих данных и потребностями крупномасштабных обучений моделей.

Глубокие знания в области приобретения данных, масштабируемой обработки или исследований данных могут стать сильной отправной точкой. Мы не ожидаем, что каждый кандидат будет иметь опыт работы во всех этих областях.

BENEFITS AND PERKS

• Денежная компенсация в диапазоне 150-350 тыс. долларов США, включая опционы на акции, что соответствует вашему успеху росту и влиянию Prime Intellect.

• Гибкие условия работы с возможностью работать удаленно или лично в наших офисах в Сан-Франциско.

• Визовая поддержка и помощь при переезде для международных кандидатов.

• Ежеквартальные выездные мероприятия команды, хакатоны, конференции и возможности для обучения.

• Возможность работать с талантливой, трудолюбивой и целеустремленной командой, объединенной общей страстью к использованию технологий для ускорения науки и ИИ.

Если вас привлекает возможность создать основу для будущего децентрализованного ИИ и создать платформу, которая позволяет разработчикам и исследователям расширять границы возможного, мы будем рады услышать от вас.