Software Engineer, Pretraining Data

SpaceX была основана исходя из убеждения, что будущее, в котором человечество исследует звезды, принципиально более захватывающее, чем будущее, в котором мы этого не делаем. Сегодня SpaceX активно разрабатывает технологии, чтобы сделать это возможным, с конечной целью сделать жизнь мультипланетарной и расширить сознание к звездам.

SpaceXSI создает сверхинтеллект, чтобы помочь человечеству понять Вселенную. Наши команды создают полный стек сверхинтеллекта: от наших суперкомпьютеров Colossus до моделей Grok и нашего набора приложений, включая Grok Bot, Grok Build, Grok Imagine, Grok Voice и X. Мы создаем мощный маховик, где больше вычислительных ресурсов обучают лучшие модели, лучшие модели обеспечивают работу более полезных продуктов, а то, что мы узнаем от людей, использующих эти продукты, формирует то, что мы строим дальше.

О РОЛИ

Мы ищем инженеров-программистов для создания систем данных, лежащих в основе первоначального обучения наших передовых моделей кодирования. Вы будете работать над крупномасштабным сканированием, платформой данных и инфраструктурой конвейеров, превращая необработанные данные в наборы данных, на которых обучаются наши модели, и делая итерации с исследователями быстрыми и надежными.

• Команда качества данных отвечает за весь путь от необработанных данных в масштабах интернета до токенов, которые обучают передовые модели. Эта команда гарантирует, что правильные данные в правильной форме попадают в обучающие кластеры вовремя и с требуемым уровнем качества для продвижения кривой масштабирования. Это достигается путем создания наших собственных моделей, наших высокопроизводительных конвейеров и проведения экспериментов, которые доказывают, что данные действительно превосходны.

• Команда платформы данных отвечает за инфраструктуру и конвейеры, которые преобразуют необработанные данные в наборы данных, готовые к обучению. Эта команда повышает скорость, надежность и удобство работы разработчиков для наших первоначальных конвейеров данных, чтобы исследователи могли быстро экспериментировать с новыми источниками данных, фильтрами качества, таксономиями, мультимодальными данными и смесями данных, которые улучшают производительность модели.

• Команда сканирования отвечает за крупномасштабное сканирование и парсинг веба, которое формирует верхнюю часть воронки для первоначального обучения. Они обнаруживают, планируют, извлекают и анализируют общедоступный веб-контент, чтобы высококачественные документы становились сырыми сканами, которые Команда качества данных и Команда платформы данных превращают в токены и смеси. Это глубокая работа с распределенными системами с реальной ответственностью: охват хостов и их приоритезация, успешность извлечения данных при антибот-защите и анализе ловушечного контента, качество парсинга HTML/документов и надежность инфраструктуры сканирования, которая должна постоянно снабжать каждый нижестоящий конвейер данных.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• В команде качества данных:

  • Создавать и управлять высокопроизводительными, полностью телеметрируемыми конвейерами данных, которые обрабатывают данные в масштабе передовых моделей с полной прослеживаемостью. Если что-то выходит из строя или сбивается, ваши системы сообщат нам об этом до начала цикла обучения.
  • Обучать и развертывать модели, которые классифицируют, ранжируют, фильтруют, очищают и идентифицируют данные с чрезвычайно высокой пропускной способностью. Эти модели должны быть как точными, так и достаточно быстрыми, чтобы находиться в критическом пути, не становясь узким местом.
  • Проектировать и проводить эксперименты с масштабированием по смесям данных, повторяемости и глубине качества, которые превращают «этот набор данных кажется хорошим» в убедительные доказательства, которым может доверять команда обучения.
  • Тесно сотрудничать с отделом сбора данных для поиска недостающих или низкокачественных источников, а также с командами обучения для получения обратной связи о том, что на самом деле влияет на потери и последующие оценки.
  • Рассматривать качество данных как системную и исследовательскую проблему. Вы будете писать критически важный с точки зрения производительности код одну неделю и разрабатывать тщательные эксперименты — следующую.

• В команде платформы данных:

  • Создавать платформу, которая преобразует необработанные веб-данные, код, мультимодальные и полученные данные в наборы данных, готовые к обучению для передовых этапов предварительного обучения.
  • Отвечать за конвейеры, оркестрацию и инструменты, которые делают итерации с данными для предварительного обучения быстрыми, надежными, наблюдаемыми и воспроизводимыми в масштабе.
  • Создавать четкие сигналы для качества данных, происхождения, свежести и состояния конвейера, чтобы исследователи могли доверять тому, что попадает в каждый цикл.
  • Сотрудничать с командами первоначального обучения, сканирования, качества данных и сбора данных, чтобы превратить новые идеи по данным в измеримые улучшения в потерях, оценках и возможностях модели.

• В команде сканирования:

  • Создавать и масштабировать системы сканирования веб-сайтов, которые обнаруживают, планируют, извлекают и анализируют высококачественные документы из открытого интернета для первоначального обучения.
  • Улучшать посев URL-адресов, оценку и справедливое планирование хостов, чтобы пропускная способность сканирования приходилась на хосты и страницы, наиболее важные для качества модели.
  • Повышать успешность сканирования и качество парсинга — устраняя сбои антиботов, улучшая парсеры и извлекая контент, который мы ранее не могли получить чисто.
  • Отлаживать и укреплять сложную инфраструктуру сканирования от начала до конца для обеспечения доступности, восстановления и задержки приема, а также автоматизировать доставку наборов данных сканирования в конвейер данных.
  • Работать независимо (и вместе с ИИ-агентами) и в партнерстве с Командой качества данных и Командой платформы данных, чтобы новое покрытие отображалось в виде лучших токенов в циклах обучения.

ВЫ МОЖЕТЕ ПОДОЙТИ, ЕСЛИ

• У вас есть сильный опыт работы с инфраструктурой или платформами данных, и, в идеале, глубокие знания в какой-либо области (инфраструктура сканирования/поиска является плюсом, но не обязательным требованием).
• Вы — высококвалифицированный инженер, который двигался необычайно быстро — например, достиг уровня Staff за несколько лет — или вы обладаете глубоким опытом в предметной области.
• Вы способны проектировать и развертывать решения от начала до конца с высокой степенью ответственности, самостоятельно отлаживать сложные системы и работать вместе с ИИ-агентами.
• У вас есть сильная интуиция относительно крупномасштабных распределенных систем.
• Вы заинтересованы в изучении того, как данные предварительного обучения влияют на качество модели, и хотите получить ответственность и видимость, связанные с созданием систем, которые питают передовые циклы обучения.