Member of Technical Staff, Pre-Training Data Quality Engineer

Reflection — это исследовательская лаборатория, которая делает интеллект открытым и доступным для всех, чтобы его можно было использовать, настраивать и развивать. Мы создаем открытые модели, которые позволяют любому контролировать свой интеллект и формировать будущее ИИ. Наша миссия: сделать интеллект открытым и доступным для всех.

О РОЛИ

Данные играют все более важную роль на переднем крае инноваций в области ИИ. Многие из наиболее значимых достижений последних лет были достигнуты не благодаря новым архитектурам, а благодаря лучшим данным.

В качестве члена команды Data Team ваша миссия — обеспечить, чтобы данные, используемые для обучения наших моделей, соответствовали высоким стандартам качества, надежности и влияния на последующие этапы. Вы будете напрямую влиять на то, как наши модели работают в критически важных областях.

Работая с исследователями мирового класса в наших командах предварительного обучения, вы поможете превратить расплывчатые представления о «хороших данных» в конкретные, измеримые стандарты, масштабируемые для крупных кампаний по сбору данных. Мы считаем, что для того, чтобы сделать интеллект открытым и доступным для всех, нужно начинать с основ. Присоединение к Reflection означает построение с нуля в составе высококвалифицированной команды. Вы будете определять наше будущее как компании и формировать будущее открытых фундаментальных моделей.

Тесно сотрудничая с нашими командами предварительного обучения, вы будете:

• Отвечать за качество исходных данных для предварительного обучения LLM; в качестве специалиста или универсального специалиста по разным языкам и модальностям

• Тесно сотрудничать с исследовательскими командами и командами предварительного обучения для преобразования требований в измеримые сигналы качества и предоставления действенных отзывов внешним поставщикам данных

• В дополнение к процессам с участием человека, вы будете разрабатывать, проверять и масштабировать автоматизированные методы QA для надежного измерения качества данных в крупных кампаниях

• Создавать многоразовые конвейеры QA, которые надежно поставляют высококачественные данные командам предварительного обучения для обучения моделей

• Отслеживать и сообщать о качестве данных с течением времени, способствуя постоянному совершенствованию стандартов качества, процессов и критериев приемки

Мы ищем инженеров, которые сочетают прочные инженерные основы с глубоким любопытством к качеству данных и его влиянию на производительность модели.

• Прочные инженерные основы с опытом создания конвейеров данных, систем QA или рабочих процессов оценки для данных предварительного обучения

• Внимательность к деталям и аналитический склад ума, способность выявлять сбои, несоответствия и тонкие проблемы, влияющие на качество данных

• Четкое понимание того, как качество данных влияет на предварительное обучение, с возможностью преобразовывать проблемы качества в конкретные сигналы, решения и отзывы

• Опыт разработки и проверки автоматизированных проверок качества, включая системы на основе правил, статистические методы или подходы с помощью моделей, такие как LLM-as-a-Judge

• Умение работать автономно, решать проблемы от начала до конца и эффективно сотрудничать с исследователями, инженерами и партнерами по операционной деятельности

НАВЫКИ И КВАЛИФИКАЦИЯ

• Владение Python и создание рабочих процессов ML / LLM. Должны быть комфортны в отладке и написании масштабируемого кода

• Опыт работы с большими наборами данных и автоматизированными системами оценки или проверки качества

• Знание принципов работы LLM и умение описывать, как модели обучаются и оцениваются

• Отличные коммуникативные навыки с возможностью четко излагать сложные технические концепции командам

Мы хотим, чтобы вы выполняли самую значимую работу в своей карьере, будучи уверенными, что вы и ваши близкие находятся под защитой.

• Первоклассная компенсация: зарплата и доля в компании, структурированные для признания и удержания наших талантов по всему миру

• Опционы на акции: каждый, кто присоединяется и способствует успеху Reflection, получает долю в прибыли через опционы на акции

• Здоровье и благополучие: комплексное медицинское, стоматологическое, офтальмологическое страхование и страхование жизни, с ежегодным пособием на оздоровление

• Питание: обеды и ужины предоставляются в офисе ежедневно

• Жизнь и семья: 22 недели оплачиваемого отпуска по уходу за ребенком для всех новых родителей (биологических и небиологических), включая усыновителей и суррогатных матерей

• Дни отпуска: неограниченное количество оплачиваемых дней отпуска в США и 30 дней в Великобритании

• Визовая поддержка: мы оказываем визовую поддержку, чтобы помочь исключительным талантам присоединиться к нашей команде, и поддерживаем долгосрочные иммиграционные пути, где это применимо

• Командные мероприятия: мы проводим регулярные выездные мероприятия, вечеринки и празднования