Staff + Software Security Engineer, Labs

О Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ.

О роли

Frontier AI (передовые технологии ИИ) уверенно движется к тому, чтобы стать одной из самых значимых и наиболее подверженных целевым атакам технологий в мире. Кривая возможностей резко растет, противники, заинтересованные в этих системах, обладают огромными ресурсами, а уровень безопасности, который в конечном итоге потребуется, выходит далеко за рамки текущих возможностей отрасли. Простые меры по усилению безопасности не смогут преодолеть этот разрыв, поэтому нам нужны прорывные решения и группа людей, которая их найдет.

Security Labs — это та команда. Мы управляем портфелем проектов по безопасности с высоким риском и высокой ожидаемой ценностью: это работа, которая кажется непрактичной, пока за нее не возьмется кто-то достаточно оптимистичный и упрямый. Проекты выполняются в течение недель, а не кварталов, и каждый из них либо передается команде Anthropic, которая будет владеть им в производственной среде, либо закрывается с отчетом о полученных знаниях. Мы ожидаем, что значительная часть наших ставок не сыграет.

Эта команда намеренно работает в режиме "scrappy" (находчиво и с минимальными ресурсами) и амбициозно. Мы намеренно быстро экспериментируем с рискованными исследовательскими ставками, и ожидаем, что значительная часть из них не увенчается успехом. Если 30%-ный показатель успешности проекта вызывает у вас дискомфорт, или неизведанная и хаотичная территория пугает и одновременно волнует, то это, вероятно, не для вас. В Anthropic Security есть другие отделы, занимающиеся важной работой с большей структурой, меньшим риском и более определенными путями к положительным результатам.

Среди вопросов, на которые мы пытаемся ответить:

• Могут ли наши основные исследовательские рабочие процессы выдержать экстремальную изоляцию?
• Можем ли мы заменить доверие криптографическими гарантиями?
• Могут ли сами модели стать нашим самым эффективным средством контроля безопасности?
• Что на самом деле потребуется для защиты от противника уровня Tier-1, и сколько из этого мы можем построить сейчас?

Кто мы ищем

Мы ищем специалистов широкого профиля с редкой глубиной знаний. Вы — сильный инженер-программист по своей сути, и в дополнение к этому вы глубоко погрузились хотя бы в одну область, которой большинство инженеров не занимаются: безопасность прошивок или аппаратного обеспечения, прикладная криптография, внутреннее устройство ОС/ядра/гипервизора, формальные методы, реверс-инжиниринг или системы высокой степени надежности и междоменные системы. Вы создавали что-то под своим руководством, вам комфортно перескакивать между уровнями, когда этого требует проблема, и вы скорее рискнете попробовать что-то, что может не получиться, чем выпустите безопасное, инкрементное решение. Вы считаете, что траектория развития ИИ имеет огромное значение, вас не устраивает то, как идет развитие безопасности по умолчанию, и вы предпочитаете быть внутри и создавать решение, а не наблюдать со стороны.

Текущие области проектов

Портфель меняется по мере получения нами новых знаний. Виды ставок, которые в настоящее время находятся в работе или в очереди:

• Создание прототипа кластера для исследований с высокой степенью надежности: запуск реальных рабочих нагрузок Anthropic для обучения и исследований в условиях экстремальной изоляции и мер физической безопасности, и точное определение, где снижается производительность и что нам потребуется изобрести, чтобы вернуть ее.
• Доказуемое инференс (проверка вывода): криптографическая верификация (доказательства с нулевым разглашением, цепочки аттестации) того, что данный вывод был получен конкретной моделью, выполняющей конкретный код, заменяя "доверяйте нам" математикой.
• Создание изоляции рабочих нагрузок в микро-ВМ с использованием гипервизора для всего парка оборудования.
• Компиляция ML-ядра через формально верифицированный конвейер, где каждый шаг понижения несет машинную проверку эквивалентности, что делает саботаж на уровне компиляции математически обнаружимым.
• Регенерация кластеров: автоматизация, которая разворачивает специально созданную ячейку, выполняет рабочую нагрузку и полностью разбирает ее по истечении TTL, измеряемого в часах, так что постоянство злоумышленника имеет срок действия.
• Использование самого Claude для комплексной работы по обеспечению безопасности: моделирование угроз новых вычислительных платформ, переписывание критически важных сервисов с нулевыми внешними зависимостями, использование испытательного оборудования, которое проверяет заявленные производителем аппаратного обеспечения характеристики.

Часть вашей работы — решение о том, что будет дальше. Мы нанимаем людей, которым доверяем выбор хороших ставок, и выбор проектов принадлежит инженерам, выполняющим работу.

Ключевые обязанности

• Полная ответственность за проекты Security Labs. Вы будете определять объем ставки, создавать прототип, запускать его с реальными рабочими нагрузками и передавать его либо для дальнейшего использования, либо для документированного завершения.
• Быстрое создание новой инфраструктуры безопасности (изолированные кластеры, цепочки аттестации, работа с гипервизором и средой выполнения, инструменты верификации), оптимизируя то, что мы узнаем, а не долговечность.
• На раннем этапе найти принимающую команду, вовлекать ее в процесс по мере создания, и передать им то, что они действительно хотят владеть.
• Работать в тесном сотрудничестве с исследовательскими командами и командами инфраструктуры (Pretraining, RL, Inference, Compute), чтобы проверить, выдерживают ли их рабочие процессы предложенные вами решения, и точно задокументировать, где они этого не делают.
• Превращать результаты экспериментов в краткие отчеты, которые формируют долгосрочную архитектуру безопасности Anthropic, и в оцененные планы действий на случай непредвиденных обстоятельств, которые мы могли бы реализовать в короткие сроки.
• Помогать выбирать следующий раунд ставок и влиять на отрасль, чтобы она становилась лучше.

Минимальные квалификации

• Искренне заботиться о том, куда движется ИИ, и хотеть работать над проблемами безопасности, которые определяют, будет ли это развитие успешным. Это самое важное в этом списке.
• Иметь реальную глубину знаний хотя бы в одной области, с которой большинство инженеров-программистов не сталкиваются (например, безопасность прошивок или аппаратного обеспечения, прикладная криптография, внутреннее устройство ОС/ядра/гипервизора, формальные методы и верификация, реверс-инжиниринг и разработка эксплойтов, или системы высокой степени надежности/междоменные системы).
• Создавали и выпускали продукты под своим руководством. Возможно, вы основали компанию или исследовательскую группу, поддерживали проект с открытым исходным кодом, от которого зависят другие, или выпустили исследование, которое изменило подход людей в вашей области. Мы придаем этому гораздо большее значение, чем тому, где вы работали или как долго.
• Иметь опыт выбора проблемы самостоятельно и доведения ее до конца, а не только выполнения плана, предложенного кем-то другим.
• Комфортно переключаться между доменами и уровнями стека, когда этого требует проблема, и вы действительно делали это.
• Проводили прототипы или эксперименты, целью которых был ответ на сложный вопрос, а не выпуск постоянной системы, в том числе те, которые не увенчались успехом.
• Писать достаточно ясно, чтобы превратить недели работы в пару страниц, на основе которых кто-то может действовать.
• Менять свое мнение, когда данные указывают на это, и вам комфортно быть наименее экспертным человеком в комнате, полной специалистов.
• Заботиться об обороне. Многие люди здесь имеют опыт в нападении, и этот опыт ценен, но сейчас вы хотите тратить свое время на то, чтобы системы держались.
• Являетесь сильным программистом (Python плюс как минимум один из Rust, Go или C/C++) и можете быстро развернуть реальную инфраструктуру, не считая это самой интересной частью вашей недели.

Предпочтительные квалификации

• Опыт работы в изолированных ("airgapped") или высокозащищенных средах (секретные сети, междоменные решения, ICS/SCADA, инфраструктура финансовых торгов) и операционные реалии работы в них.
• Опыт в области наступательной безопасности, красных команд или исследования уязвимостей с калиброванными интуициями относительно того, какие угрозы действительно имеют значение.
• Знакомство с инфраструктурой машинного обучения (конвейеры обучения, распределенные планировщики, инференс-сервинг, аппаратное обеспечение ускорителей), достаточным для ведения обоснованных бесед с исследователями о том, что на самом деле нужно их рабочим нагрузкам.
• Опыт работы в средах, построенных на основе быстрой итерации, а не жесткого контроля изменений: стартапы, прикладные исследовательские группы, независимый консалтинг, небольшие фирмы по безопасности.

Годовой диапазон компенсации для этой роли указан ниже. Для ролей, связанных с продажами, указанный диапазон является диапазоном "On Target Earnings" ("OTE"), что означает, что диапазон включает как целевые комиссионные/бонусы за продажи, так и годовой базовый оклад для данной роли.

Годовой оклад: $320 000 — $485 000 USD

Логистика

• Минимальное образование: степень бакалавра или эквивалентная комбинация образования, обучения и/или опыта.
• Требуемая область обучения: область, имеющая отношение к роли, подтвержденная курсовой работой, обучением или профессиональным опытом.
• Минимальное количество лет опыта: требуемое количество лет опыта будет коррелировать с требованиями к внутреннему уровню должности.
• Гибридная политика на основе местоположения: в настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые должности могут требовать больше времени пребывания в наших офисах.
• Спонсорство виз: Мы спонсируем визы! Однако мы не можем успешно спонсировать визы для каждой должности и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и для этого мы привлекаем юриста по иммиграционным вопросам.

Мы призываем вас подать заявку, даже если вы не соответствуете всем требованиям. Не все сильные кандидаты будут соответствовать всем перечисленным требованиям. Исследования показывают, что люди, принадлежащие к недостаточно представленным группам, чаще испытывают синдром самозванца и сомневаются в силе своей кандидатуры, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подать заявку, если вас заинтересовала эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы строим, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать в нашу команду разнообразные точки зрения.

Ваша безопасность имеет для нас значение. Чтобы защитить себя от потенциального мошенничества, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые представятся как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого дня. Если вы когда-либо будете сомневаться в коммуникации, не переходите по ссылкам — перейдите напрямую на careers Anthropic, чтобы узнать о подтвержденных вакансиях.

В чем наше отличие

Мы считаем, что самые влиятельные исследования в области ИИ будут относиться к "большой науке". В Anthropic мы работаем как единая слаженная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над мелкими и специфическими задачами. Мы рассматриваем исследования в области ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько с традиционными направлениями в информатике. Мы являемся чрезвычайно коллаборативной группой и проводим частые исследовательские дискуссии, чтобы гарантировать, что мы занимаемся самой влиятельной работой в любой данный момент. Поэтому мы высоко ценим коммуникативные навыки.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — это корпорация общественного блага со штаб-квартирой в Сан-Франциско. Мы предлагаем конкурентную заработную плату и льготы, возможность пожертвования части вознаграждения, щедрый отпуск и отпуск по уходу за ребенком, гибкий рабочий график и прекрасный офис для совместной работы с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.