[Expression of Interest] Research Engineer / Scientist, Alignment - London

Title: [Expression of Interest] Research Engineer / Scientist, Alignment - London Company: Anthropic Location: London, UK

О компании Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые вместе работают над созданием полезных систем ИИ.

О роли

Вы хотите создавать и проводить элегантные и тщательные эксперименты по машинному обучению, чтобы помочь нам понять и управлять поведением мощных систем ИИ. Вас волнует, чтобы ИИ был полезным, честным и безвредным, и вас интересуют способы, которыми это может быть сложной задачей в контексте человеческих возможностей. Вы можете описать себя как ученого и инженера. В качестве инженера-исследователя в области науки об управлении (Alignment Science) вы будете участвовать в исследовательских экспериментах по безопасности ИИ, уделяя особое внимание рискам, связанным с мощными будущими системами (такими как те, которые мы обозначили бы как ASL-3 или ASL-4 в соответствии с нашей Политикой ответственного масштабирования), часто в сотрудничестве с другими командами, включая Interpretability, Fine-Tuning и Frontier Red Team.

Наш блог содержит обзор тем, которые команда Alignment Science либо в настоящее время исследует, либо исследовала ранее. Для лондонской команды мы ищем кандидатов в следующих исследовательских областях:

• AI Control: Создание методов для обеспечения безопасности и безвредности продвинутых систем ИИ в незнакомых или враждебных сценариях.
• Alignment Stress-testing: Создание модельных организмов несоответствия для улучшения нашего эмпирического понимания того, как могут возникать сбои в системе управления.

Примечание: В настоящее время основной центр команды находится в Сан-Франциско, поэтому мы требуем, чтобы все кандидаты находились в Лондоне не менее 25% времени и периодически ездили в Сан-Франциско. Кроме того, мы уделяем приоритетное внимание развитию наших команд в Сан-Франциско, поэтому вы можете не получить ответа на свою заявку в лондонскую команду, если только мы не увидим исключительно сильное соответствие. Для этой роли мы проводим все собеседования на Python.

Примеры проектов

• Тестирование надежности наших методов обеспечения безопасности путем обучения языковых моделей подрыву наших методов обеспечения безопасности и проверки их эффективности в подрыве наших вмешательств.
• Проведение экспериментов по обучению с подкреплением с участием нескольких агентов для тестирования таких методов, как AI Debate.
• Создание инструментов для эффективной оценки эффективности новых способов «взлома» (jailbreaks), генерируемых LLM.
• Написание скриптов и промптов для эффективного создания вопросов для оценки, чтобы проверить способности моделей к рассуждению в контекстах, связанных с безопасностью.
• Внесение идей, иллюстраций и текстов в исследовательские статьи, сообщения в блогах и доклады.
• Проведение экспериментов, которые являются частью ключевых усилий Anthropic по обеспечению безопасности ИИ, таких как разработка и внедрение нашей Политики ответственного масштабирования.

Вы можете нам подойти, если вы

• Имеете значительный опыт в области программного обеспечения, машинного обучения или инженерных исследований
• Имеете опыт участия в эмпирических исследовательских проектах в области ИИ
• Имеете некоторое знакомство с техническими исследованиями в области безопасности ИИ
• Предпочитаете быстро меняющиеся совместные проекты, а не длительные индивидуальные усилия
• Берете на себя дополнительную работу, даже если она выходит за рамки вашего должностного описания
• Заботитесь о влиянии ИИ

Сильные кандидаты также могут иметь

• Опыт написания исследовательских статей в области машинного обучения, NLP или безопасности ИИ
• Опыт работы с LLM
• Опыт работы с обучением с подкреплением
• Опыт работы с кластерами Kubernetes и сложными общими кодовыми базами

Кандидатам не обязательно иметь

• 100% навыков, необходимых для выполнения работы
• Формальные сертификаты или образовательные степени

Ежегодный диапазон компенсации для этой роли указан ниже. Для ролей, связанных с продажами, указанный диапазон — это диапазон «On Target Earnings» («OTE») для роли, то есть диапазон включает как целевые комиссии/бонусы по продажам, так и годовую базовую заработную плату для роли.

Годовая заработная плата

£260 000 — £370 000 GBP

Логистика

• Минимальное образование: степень бакалавра или эквивалентная комбинация образования, обучения и/или опыта
• Требуемая область обучения: область, относящаяся к роли, подтвержденная курсовой работой, обучением или профессиональным опытом
• Минимальный стаж работы: требуемый стаж работы будет коррелировать с требованиями к внутреннему уровню должности
• Гибридная политика работы в офисе: в настоящее время мы ожидаем, что весь персонал будет присутствовать в одном из наших офисов не менее 25% времени. Однако некоторые должности могут требовать больше времени в наших офисах.
• Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не можем успешно предоставить визовую поддержку для каждой должности и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и мы привлекаем иммиграционного юриста для помощи в этом.

Мы призываем вас подать заявку, даже если вы считаете, что не соответствуете всем требованиям. Не все сильные кандидаты соответствуют всем перечисленным требованиям. Исследования показывают, что люди, идентифицирующие себя как представители недостаточно представленных групп, чаще испытывают синдром самозванца и сомневаются в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность имеет для нас значение. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с электронных адресов @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с электронными письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо сомневаетесь в связи, не переходите по ссылкам — посетите anthropic.com/careers напрямую, чтобы узнать об открытых вакансиях.

Чем мы отличаемся

Мы считаем, что наиболее значимые исследования в области ИИ будут проводиться в рамках «большой науки». В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. Мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования в области ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными направлениями в компьютерных науках. Мы чрезвычайно ориентированная на сотрудничество группа, и мы проводим частые исследовательские обсуждения, чтобы гарантировать, что мы занимаемся наиболее влиятельной работой в любой данный момент времени. В связи с этим мы высоко ценим коммуникативные навыки.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — корпорация, действующая в общественных интересах, со штаб-квартирой в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное соответствие пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для сотрудничества с коллегами. Руководство по использованию ИИ кандидатами: ознакомьтесь с нашей политикой использования ИИ в процессе подачи заявления.