Title: Senior Data Labeler
Company: White Circle
Location: Paris / London / Hybrid / Remote
TL;DR: Мы ищем руководителя отдела разметки данных, который с нуля построит нашу команду аннотаций — установит стандарты качества, разработает системы оценки и будет управлять операциями по разметке для нашей системы оценки безопасности, RLHF и бенчмарков. Вы будете отвечать за качество, производительность и затраты, работая бок о бок с нашими исследователями ИИ.
О НАС
White Circle — компания, занимающаяся безопасностью ИИ, которая создает уровень безопасности, надежности и оптимизации для систем ИИ. В основе нашей платформы лежат политики — простые правила на естественном языке, определяющие, что модель ИИ должна и не должна делать. Мы автоматически тестируем, применяем и постоянно улучшаем эти политики в масштабе.
- Мы недавно завершили раунд финансирования Серии А, в результате чего общий объем финансирования составил 70 миллионов долларов. Среди наших инвесторов — ведущие фонды, основатели и старшие руководители OpenAI, Anthropic, HuggingFace, Mistral, DeepMind, Datadog, Sentry и других.
- Мы обрабатываем более 100 миллионов вызовов API каждый месяц.
- Мы дообучаем и тренируем собственные LLM, чтобы они работали быстрее и дешевле, чем любая открытая или проприетарная модель.
Мы уже достигли многомиллионного годового оборота, подписав контракты с такими клиентами, как Lovable, и несколькими необанками. Вы присоединитесь к нам в самый захватывающий момент — достаточно рано, чтобы собственный капитал мог изменить вашу жизнь, но уже после того, как спрос был доказан.
В ЭТОЙ РОЛИ ВЫ БУДЕТЕ
- Создавать с нуля и руководить командой разметки данных (найм, обучение и управление эффективностью).
- Определять руководства по аннотированию, стандарты качества и системы оценки.
- Разрабатывать процессы обеспечения качества, калибровочные сессии и системы аудита.
- Сотрудничать с исследователями и инженерами ИИ для преобразования исследовательских целей в рабочие процессы разметки.
- Приоритизировать проекты по разметке на основе потребностей бизнеса и исследований.
- Отслеживать операционные метрики, включая качество, согласованность, производительность и затраты.
- Улучшать инструменты для аннотирования, автоматизацию и эффективность рабочих процессов.
- Руководить сложными проектами оценки ИИ, включая оценку безопасности, ранжирование предпочтений, RLHF, оценку политик и создание бенчмарков.
- Анализировать шаблоны разногласий и пограничные случаи для улучшения руководств и производительности модели.
- Управлять отношениями с поставщиками и обеспечивать стабильное качество в распределенных командах.
- Создавать панели отчетов и сообщать о результатах работы руководству.
- Способствовать развитию культуры непрерывных улучшений, ответственности и операционного совершенства.
МЫ ИЩЕМ КАНДИДАТА, КОТОРЫЙ
- Имеет опыт руководства командами по аннотированию данных или оценке ИИ.
- Обладает сильными операционными навыками и навыками управления людьми.
- Понимает оценку моделей ИИ, поведение LLM и современные рабочие процессы аннотирования.
- Может разрабатывать масштабируемые процессы без ущерба для качества.
- Четко общается как с техническими, так и с нетехническими командами.
- Преуспевает в быстро меняющейся стартап-среде.
ВЫ МОЖЕТЕ ОТЛИЧНО ПОДОЙТИ, ЕСЛИ ВЫ
- Руководили программами аннотирования для LLM, генеративного ИИ или машинного обучения.
- Имеете опыт работы с RLHF, сбором данных предпочтений, оценкой безопасности или созданием бенчмарков.
- Работали в отделах Trust & Safety, AI Safety, Content Moderation или ML Ops.
- Руководили распределенными или глобальными командами аннотирования.
- Имеете опыт управления поставщиками и аутсорсинговых операций.
БОНУСНЫЕ БАЛЛЫ
- Знакомство с prompt engineering и политиками безопасности ИИ.
- Опыт работы с SQL, Python или анализа данных.
- Опыт создания внутренних платформ для аннотирования или автоматизации рабочих процессов.
- Опыт в лингвистике, когнитивной науке, машинном обучении или операциях с данными.
Важное примечание
Эта роль включает в себя надзор за проектами, которые могут содержать оскорбительный, вредоносный, насильственный, сексуальный или иной тревожный контент.
Вы будете нести ответственность за обеспечение reviewers необходимыми инструментами, руководством и поддержкой для безопасного и последовательного выполнения этой работы.
КОМПЕНСАЦИЯ И ЛЬГОТЫ
- Конкурентоспособная компенсация, включая собственный капитал.
- Гибкий график отпусков.
- Просторный офис в самом сердце 2-го округа Парижа с гибким гибридным графиком.
- Поддержка при переезде в Париж, доступная после испытательного срока.
- Премиальное частное медицинское страхование.
- Поддержка психического здоровья, включая оплату терапии, когда она вам нужна.
- Уроки языка для улучшения вашего английского или французского.
- Обед и ужин покрываются, когда вы работаете в офисе.
- Поддержка обучения и развития для курсов, конференций и возможностей для роста ваших навыков.
- Все необходимое оборудование, подписки, инструменты и услуги.
- Командные выезды дважды в год: недавно мы были в Альпах, Сен-Тропе и Марбелье.
ПРОЦЕСС
- Вводный звонок (25 мин)
- Тестовое задание на дом
- Финальная беседа с CEO (45 мин)
Пожалуйста, подайте заявку на английском языке.
