Research Engineer, Pretraining Scaling - London

О Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые ИИ-системы. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые вместе работают над созданием полезных ИИ-систем.

О роли

Команда ML Performance and Scaling в Anthropic обучает наши производственные предварительно обученные модели, что напрямую формирует будущее компании и нашу миссию по созданию безопасных, полезных ИИ-систем. В качестве инженера-исследователя в этой команде вы будете обеспечивать надежное, эффективное и масштабное обучение наших передовых моделей. Это сложная, высокоэффективная работа, требующая как глубоких технических знаний, так и искренней страсти к созданию крупномасштабных ML-систем.

Эта роль находится на стыке исследований и инженерии. Вы будете работать со всем нашим производственным стеком обучения: оптимизация производительности, отладка оборудования, проектирование экспериментов и координация запусков. Во время запусков команда работает в тесной связке, реагируя на производственные проблемы, которые не могут ждать до завтра.

Обязанности

• Взять на себя критически важные аспекты нашего производственного конвейера предварительного обучения, включая операции с моделями, оптимизацию производительности, наблюдаемость и надежность.
• Отлаживать и решать сложные проблемы по всему стеку — от ошибок оборудования и сетей до динамики обучения и инфраструктуры оценки.
• Проектировать и проводить эксперименты для повышения эффективности обучения, сокращения времени шага, увеличения времени безотказной работы и улучшения производительности модели.
• Реагировать на инциденты во время запусков моделей, быстро диагностируя проблемы и координируя решения между командами.
• Создавать и поддерживать производственное логирование, панели мониторинга и инфраструктуру оценки.
• Добавлять новые возможности в кодовую базу обучения, такие как поддержка длинного контекста или новые архитектуры.
• Тесно сотрудничать с коллегами из Сан-Франциско и Лондона, а также с командами Tokens, Architectures и Systems.
• Вносить вклад в институциональные знания команды, документируя системы, подходы к отладке и извлеченные уроки.

Вам может подойти, если вы

• Имеете практический опыт обучения больших языковых моделей или глубокие знания JAX, TPU, PyTorch или крупномасштабных распределенных систем.
• Искренне любите как исследовательскую, так и инженерную работу — вы бы описали идеальное для вас соотношение как примерно 50/50, а не сильно смещенное в одну или другую сторону.
• Готовы работать в режиме дежурства по производственным системам, работать долгие дни во время запусков и решать сложные проблемы под давлением.
• Преуспеваете, работая над тем, что наиболее эффективно, даже если это меняется изо дня в день в зависимости от потребностей производственной модели.
• Превосходно справляетесь с отладкой сложных, неоднозначных проблем в различных слоях стека.
• Четко общаетесь и эффективно сотрудничаете, особенно при координации между часовыми поясами или во время стрессовых инцидентов.
• Увлечены самой работой и хотите отточить свое мастерство в качестве инженера-исследователя.
• Заботитесь о социальном влиянии ИИ и ответственном масштабировании.

Сильные кандидаты также могут иметь

• Предыдущий опыт обучения LLM или обширный опыт работы с JAX/TPU, PyTorch или другими ML-фреймворками в большом масштабе.
• Участие в разработке LLM-фреймворков с открытым исходным кодом (например, open_lm, llm-foundry, mesh-transformer-jax).
• Опубликованные исследования по обучению моделей, законам масштабирования или ML-системам.
• Опыт работы с производственными ML-системами, инструментами наблюдаемости или инфраструктурой оценки.
• Опыт работы системным инженером, количественным аналитиком или в других ролях, требующих как технической глубины, так и операционного совершенства.

Что делает эту роль уникальной

Это не типичная роль инженера-исследователя. Работа очень операционная — вы будете глубоко вовлечены в обеспечение бесперебойного обучения наших производственных моделей, что означает оперативность реагирования на инциденты, гибкость в приоритетах и комфортное отношение к неопределенности. Во время запусков команда часто работает сверхурочно и может потребоваться реагировать на проблемы вечером и в выходные дни.

Однако эта операционная интенсивность предоставляет исключительные возможности для обучения. Вы получите практический опыт работы с одними из самых крупных и сложных обучающих запусков в отрасли. Вы будете работать вместе с исследователями и инженерами мирового класса, а институциональные знания, которые вы приобретете, будут накапливаться способами, которые нелегко передать. Для людей, которые преуспевают в таком типе работы, она уникально вознаграждающая.

Мы создаем сплоченную команду людей, которые искренне заботятся о совместном выполнении превосходной работы. Если вы тот, кто хочет участвовать в обучении моделей, которые определят будущее ИИ, — и вы воодушевлены всей реальностью того, что это влечет за собой, — мы будем рады услышать от вас.

Местоположение: Эта роль требует работы в офисе 5 дней в неделю в Лондоне.

Срок подачи заявок: Нет. Заявки рассматриваются на постоянной основе.

Годовой диапазон компенсации для этой роли указан ниже.

Для ролей в сфере продаж диапазон представляет собой диапазон целевых показателей заработка («OTE») для роли, что означает, что диапазон включает как целевые комиссионные/бонусы с продаж, так и годовой базовый оклад для роли.

Годовой оклад: £260 000 — £630 000 GBP

Логистика

Минимальное образование: Степень бакалавра или эквивалентная комбинация образования, обучения и/или опыта.

Требуемая область обучения: Область, соответствующая роли, подтвержденная курсовой работой, обучением или профессиональным опытом.

Минимальное количество лет опыта: Требуемое количество лет опыта будет коррелировать с внутренними требованиями к уровню должности.

Гибридная политика на основе местоположения: В настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать больше времени в наших офисах.

Визовая поддержка: Мы спонсируем визы! Однако мы не можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и для этого мы привлекаем иммиграционного юриста.

Мы призываем вас подавать заявку, даже если вы считаете, что не соответствуете всем требованиям. Не все сильные кандидаты соответствуют всем перечисленным требованиям. Исследования показывают, что люди, относящиеся к недопредставленным группам, более склонны испытывать синдром самозванца и сомневаться в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что ИИ-системы, подобные тем, которые мы строим, имеют огромные социальные и этические последствия. Мы думаем, что это делает представительство еще более важным, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность имеет для нас значение. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с электронных адресов @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными кадровыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо сомневаетесь в общении, не переходите по ссылкам — перейдите непосредственно на сайт, чтобы узнать об открытых вакансиях.

Чем мы отличаемся

Мы считаем, что наиболее эффективные исследования в области ИИ будут крупными научными проектами. В Anthropic мы работаем как единая слаженная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим эффект — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ, — а не работу над более мелкими и специфическими задачами. Мы рассматриваем исследования в области ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными усилиями в области компьютерных наук. Мы очень совместная группа, и мы проводим частые исследовательские обсуждения, чтобы гарантировать, что мы преследуем наиболее эффективную работу в любое данное время. В связи с этим мы очень ценим коммуникативные навыки.

Самый простой способ понять наши исследовательские направления — это ознакомиться с нашими недавними исследованиями. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — это общественная корпорация (public benefit corporation), расположенная в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное соответствие пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкие рабочие часы и прекрасное рабочее пространство для сотрудничества с коллегами. Руководство по использованию кандидатами ИИ: Узнайте о нашей политике использования ИИ в процессе подачи заявки.