Safeguards Enforcement Analyst, Conventional Weapons

Вознаграждение (Годовой оклад): 245 000 – 330 000 долларов США в год

О Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые вместе работают над созданием полезных систем ИИ.

О роли

В качестве аналитика по обеспечению безопасности, специализирующегося на обычных вооружениях, вы будете заниматься обнаружением и пресечением попыток злоупотребления системами ИИ Anthropic для причинения реального вреда, в частности, с использованием обычных вооружений и опасных технологий. Вы будете отвечать за разработку и выполнение операционных рабочих процессов для оценки поведения моделей, принятия решений по обеспечению соблюдения правил и разработки оценок в рамках технически сложных областей политики.

Важный контекст для этой роли: На этой должности вы можете столкнуться с явным контентом, охватывающим ряд тем, в том числе насильственного, графического, ненавистнического или психологически тревожного характера, и будете взаимодействовать с ним.

Ключевые обязанности

• Разрабатывать и проектировать автоматизированные системы обеспечения соблюдения правил и рабочие процессы проверки, которые эффективно масштабируются при сохранении высокой точности.
• Разрабатывать и поддерживать оценки, которые измеряют производительность моделей в этих областях политики, выявляют регрессии и информируют о политике и улучшениях моделей.
• Сотрудничать с отделами инженерии и науки о данных для оптимизации систем обнаружения и автоматизированного обеспечения соблюдения правил в отношении потенциальных нарушений политики.
• Просматривать помеченный контент для принятия решений по обеспечению соблюдения правил и выявления пробелов в политике, уделяя особое внимание новым или технически сложным попыткам злоупотребления + новым тактикам.
• Поддерживать команду по разработке политики безопасности, предоставляя структурированную обратную связь по пробелам в политике и неоднозначностям в обеспечении соблюдения правил на основе реальных сценариев обеспечения соблюдения правил.
• Разрабатывать и поддерживать руководства по обеспечению соблюдения правил и документацию для рецензентов, которые позволяют точно и последовательно применять правила в отношении широкого спектра контента.
• Быть в курсе новых тенденций и применений в области вооружений, изменений в законодательстве и лучших практик в области обеспечения соблюдения политики в отношении ИИ, а также применять их для информирования наших рабочих процессов и оценок.
• Выявлять и эскалировать новые модели злоупотребления, новые векторы атак и признаки скоординированной насильственной деятельности.

Минимальные требования

• Глубокая прикладная экспертиза в системах вооружений и способность преобразовывать сложные технические доказательства для принятия решений по обеспечению соблюдения правил.
• Опыт в области обеспечения соблюдения политики, разведки угроз, борьбы с терроризмом, работы в правительстве или тесно связанной области, с прямым столкновением с вредоносным контентом, опасными технологиями или содействием физическому вреду.
• Опыт создания и масштабирования рабочих процессов обеспечения соблюдения политики или проверки контента.
• Владение SQL и/или другими инструментами анализа данных для получения информации из больших наборов данных и мониторинга работоспособности рабочих процессов обеспечения соблюдения правил.
• Опыт выявления новых рисков и действующих лиц, представляющих угрозу, и передачи результатов различным заинтересованным сторонам, таким как команды по продуктам, политике, инженерии и юридическим вопросам.
• Опыт работы с генеративными продуктами ИИ, включая написание эффективных запросов для проверки контента и обеспечения соблюдения правил.
• Понимание проблем, связанных с внедрением продуктовой политики в больших масштабах, в том числе в области модерации контента.

Предпочтительные квалификации

• Экспертиза в области обычных вооружений и опасных технологий, автономных систем или защиты критически важной инфраструктуры.
• Знакомство с соответствующими правовыми и нормативными базами, регулирующими опасные технологии, обычные вооружения и критически важную инфраструктуру.
• Опыт разработки оценок или «красных команд» (red-teaming) систем ИИ, особенно для случаев вредоносного контента или обеспечения соблюдения политики.
• Опыт использования профилирования действующих лиц, представляющих угрозу, и фреймворков разведки угроз (например, MITRE ATT&CK).
• Опыт отслеживания действующих лиц, представляющих угрозу, экстремистских сетей или моделей злоупотребления в поверхностной, глубокой и темной паутине.
• Опыт работы с большими языковыми моделями и понимание того, как технология ИИ может существенно повысить вероятность серьезного вреда.
• Владение Python для анализа данных и автоматизации рабочих процессов.
• Опыт работы в правоохранительных органах, национальной безопасности, обороне, борьбе с терроризмом или соответствующей нормативно-правовой среде.
• Опыт оценки технической правдоподобности и потенциального реального вреда контента, включая способность различать общий образовательный контент и реальное оперативное повышение потенциала, а также между защищенной речью и реальным подстрекательством/мобилизацией.
• Знакомство с кроссплатформенным анализом угроз и техниками OSINT.

Годовой диапазон компенсации для этой роли указан ниже.

Для ролей, связанных с продажами, указанный диапазон представляет собой диапазон «Целевого заработка» (OTE), что означает, что диапазон включает как целевые комиссии/бонусы по продажам, так и годовой базовый оклад для данной роли.

Годовой оклад: 245 000 – 330 000 долларов США

Логистика

• Минимальное образование: Степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта.
• Требуемая область обучения: Область, относящаяся к роли, подтвержденная курсовой работой, обучением или профессиональным опытом.
• Минимальное количество лет опыта: Требуемое количество лет опыта будет соответствовать требованиям к внутреннему уровню должности.
• Гибридная политика, основанная на местоположении: В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать больше времени, проведенного в наших офисах.
• Спонсорство виз: Мы предоставляем визовую поддержку! Однако мы не можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и для этого мы привлекаем иммиграционного адвоката.

Мы призываем вас подавать заявку, даже если вы считаете, что не соответствуете всем требованиям. Не все сильные кандидаты соответствуют всем перечисленным требованиям. Исследования показывают, что люди, идентифицирующие себя как представители недопредставленных групп, более склонны испытывать синдром самозванца и сомневаться в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подать заявку, если вы заинтересованы в этой работе. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность важна для нас. Чтобы защитить себя от возможных мошеннических действий, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые представятся как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо будете сомневаться в полученном сообщении, не переходите по ссылкам — посетите anthropic.com/careers напрямую, чтобы узнать об открытых вакансиях.

Чем мы отличаемся

Мы считаем, что наиболее влиятельные исследования в области ИИ будут проводиться в рамках «большой науки». В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. Мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, заслуживающего доверия ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными направлениями в компьютерных науках. Мы чрезвычайно ориентированная на сотрудничество группа, и мы проводим частые исследовательские дискуссии, чтобы гарантировать, что мы занимаемся наиболее влиятельной работой в любой данный момент времени. В связи с этим мы высоко ценим коммуникативные навыки.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми работала наша команда до Anthropic, в том числе: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — это общественная корпорация (public benefit corporation), расположенная в Сан-Франциско. Мы предлагаем конкурентоспособную оплату и льготы, опциональное сопоставление пожертвований акциями, щедрый отпуск и оплачиваемый отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для сотрудничества с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявления.