AI Security & Control Researcher

ВОЗМОЖНОСТИ Apollo Research сотрудничает с большинством ведущих ИИ-компаний (OpenAI, Anthropic, Google, Meta, Thinking Machines и др.) для тестирования их моделей перед развертыванием и совместных фундаментальных исследований в области схемного поведения (scheming). Наш продукт для обеспечения безопасности кодирующих агентов, Watcher, развернут в производственной среде и ежемесячно отслеживает миллиарды токенов агентов в инженерных командах стартапов и предприятий, разрабатывающих агентов. Мы ищем эксперта по безопасности и контролю, который поможет нам разработать лучшие модели угроз и протоколы контроля против ИИ-противников, а также повысить эффективность и безопасность Watcher. Это действительно «роль в стартапе» в том смысле, что вы будете иметь значительное влияние на определение направления этой роли. Это роль индивидуального исполнителя, но при желании со временем она может привести к управленческим обязанностям.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ Моделирование угроз для кодирующих агентов Разрабатывать модели угроз для кодирующих агентов, исходя из предположения, что они могут быть некорректно выровнены или скомпрометированы. Это включает краткосрочные угрозы, такие как утечка приватных внутренних данных ИИ-агентами, и долгосрочные угрозы, такие как саботаж исследований безопасности агентами. Рассматривать кодирующих агентов через призму инсайдерских рисков: у них есть учетные данные, доступ к коду, сетевой доступ и возможность выполнять произвольные действия, подобно злонамеренному инсайдеру (см. Повестка дня по контролю). Составлять карты цепочек атак (kill chains) и прогрессий атак, аналогичные таким фреймворкам, как MITRE ATT&CK, адаптированные для агентивного ИИ. См., например, Матрицу угроз потери контроля над агентом (Agentic Loss-of-Control Threat Matrix) в качестве примера высококачественного вклада. Создавать и поддерживать наши «уровни безопасности кодирующих агентов», которые определяют, какой уровень надежности обеспечивает Watcher против различных категорий сбоев. Эти уровни должны быть конкретными, проверяемыми и применимыми как внутри компании (для определения приоритетов продукта), так и снаружи (для сообщения о нашем уровне безопасности клиентам). Библиотека сбоев и литература Поддерживать нашу библиотеку сбоев кодирующих агентов и обеспечивать ее полноту, точность и актуальность. Быть в курсе академической и отраслевой литературы по безопасности кодирующих агентов, безопасности ИИ и смежным областям (внедрение подсказок (prompt injection), обман, случайные последствия для безопасности, атаки на цепочки поставок ИИ-систем и т. д.). Разработка атак для разработки мониторов Разрабатывать реалистичные траектории атак и примеры эксплойтов для разработки мониторов и их бэктестинга, работать с исследовательской командой, чтобы обеспечить обучение и оценку мониторов на основе достоверного поведения противника. Рассмотрение траекторий Выступать в качестве арбитра по безопасности для помеченных траекторий. Когда мониторы отмечают неоднозначное поведение агента, определять, представляет ли оно реальную атаку, безобидный, но необычный рабочий процесс, или требует более глубокого расследования, и передавать эти суждения для улучшения мониторов. Редтиминг (Red-teaming) Watcher Проводить редтиминг и улучшать мониторы и политики Watcher, документировать находки и передавать их для улучшения продукта. Работать с техническим исследовательским персоналом для включения наборов adversarial-тестов в конвейер бэктестинга. *Эта роль отличается от роли исследователя в области безопасности ИИ в команде Infra & Security Apollo, которая занимается моделированием угроз для собственных внутренних систем Apollo и работающих на них агентов.

ТИПОВЫЕ ПРОЕКТЫ Разработать комплексную модель угроз для кодирующих агентов: глубоко проанализировать все возможные способы, которыми кодирующие агенты могут атаковать организацию. Сравнить эту модель угроз с обычными угрозами от инсайдеров. Опубликовать подробное исследовательское описание, расширяющее существующие исследования, например, от Redwood Research. Улучшить нашу базу данных сбоев: У нас есть внутренняя база данных из более чем 50 сбоев кодирующих агентов с подробными отчетами по всем ним. В рамках этого проекта вы предоставите экспертную оценку текущего состояния этой базы данных и предложите улучшения. В долгосрочной перспективе вы будете поддерживать эту базу данных и отвечать за интеграцию новых сбоев. Приоритизировать сбои, которые должен охватывать Watcher: Различные части Watcher пытаются охватить различные модели угроз и стратегии атак. На основе результатов проекта по моделированию угроз выше, мы хотим убедиться, что каждая часть Watcher наиболее эффективно охватывает наиболее важные сбои. Например, не всем мониторам требуется блокирующая способность, а некоторые сбои могут выиграть от дополнительных возможностей, таких как возможность распределять субагентов.

ТРЕБОВАНИЯ К КАНДИДАТУ Обязательные требования 5+ лет работы в сфере безопасности в технической роли (не только GRC/compliance). Вам необходимо уметь структурно мыслить о моделировании угроз и сбоях. Вам необходимо уметь читать код, понимать инфраструктуру и оценивать технические средства контроля, а не только писать политики. Прямой опыт в области исследований безопасности, моделирования угроз или офенсивной безопасности. Комфортная работа в небольшой, быстро развивающейся команде, и готовность брать на себя ответственность за неоднозначные, открытые исследовательские вопросы. Сильные навыки письменного общения: эта роль предполагает создание моделей угроз, уровней безопасности и документации по сбоям, которые должны быть ясными и точными. Желательные требования Опыт работы с безопасностью ИИ/ML-систем, безопасностью LLM или исследованиями контроля над ИИ. Область еще молода, поэтому глубокий опыт здесь редок, но любое знакомство значительно сокращает время на адаптацию. Опыт в области разработки систем обнаружения, SOC или анализа инцидентов. Часть этой роли заключается в оценке того, является ли обнаруженное поведение агента действительно вредоносным, и люди, которые занимались триажем реальных оповещений, могут быстрее адаптироваться. Знакомство с программами по инсайдерским угрозам или фреймворками инсайдерских рисков. Ментальная модель «кодирующий агент — это потенциально злонамеренный инсайдер» полезна для этой роли, и тот, кто работал над инсайдерскими угрозами, быстрее ее поймет. Опыт редтиминга (red teaming) или офенсивной безопасности. Полезно для выполнения обязанностей по редтимингу Watcher и для мышления в терминах угроз применительно к сбоям. Формальный опыт исследований в области безопасности ИИ. Полезно, но не обязательно. Нам нужны практики безопасности, которые могут изучить контекст безопасности ИИ, а не исследователи безопасности ИИ, которым нужно изучать безопасность. Явно не требуется Опыт управления. Это роль индивидуального исполнителя, по крайней мере, на начальном этапе. Конкретные сертификаты (CISSP и т. д.). Нас интересуют продемонстрированные способности, а не верительные грамоты. Мы хотим подчеркнуть, что люди, которые считают, что они не соответствуют всем этим характеристикам, но полагают, что хорошо подойдут на эту должность, тем не менее, настоятельно приглашаются к подаче заявки.

ЛЬГОТЫ Эта роль предлагает конкурентоспособную на рынке заработную плату, опционы и конкурентоспособные льготы. Заработная плата: Сан-Франциско: $204 000 – $385 000; Лондон: £136 000 – £258 000. Вскоре мы планируем значительно повысить заработную плату. Гибкие рабочие часы и график Неограниченный отпуск Неограниченные дни больничного До 6 месяцев оплачиваемого отпуска по уходу за ребенком Комплексное медицинское страхование (стоматология и зрение) Пенсионные накопления с конкурентными взносами работодателя (например, 401(k) для сотрудников из США) Обед, ужин и закуски предоставляются всем сотрудникам в рабочие дни Оплачиваемые рабочие поездки, включая ретриты сотрудников, командировки и соответствующие конференции Ежегодный бюджет на профессиональное развитие в размере $1000 (USD) Поддержка при переезде и оплата визовых сборов (при необходимости)

ЛОГИСТИКА Распределение времени: Полный рабочий день Местоположение: Это роль, требующая присутствия в офисе в нашем лондонском или сан-францисском офисе. Мы предлагаем гибкие рабочие часы и некоторые возможности удаленной работы. Визовая поддержка: Мы оказываем визовую поддержку как в Великобритании, так и в США. Поддержка не гарантируется для каждой роли или кандидата, но если мы сделаем вам предложение, мы поможем вам найти подходящий визовый маршрут.

О КОМАНДЕ В продуктовую команду входят: научные сотрудники Виктор Гиллиоз, Моника Йотаутайте, Дмитрий Волков; инженеры-продуктологи: Джереми Найман, Зак Уолтерс, Зен ван Риел, Срджан Милетич и Густаво Бикальо; и наш руководитель отдела по работе с рынком Кайл Дай. Марий Хоббхан (CEO) консультирует команду. Кроме того, вы будете взаимодействовать с другими нашими инженерами и исследователями, поскольку мы намерены быть «нашими собственными клиентами», используя наши продукты внутри компании для нашей исследовательской работы. Полный состав нашей команды можно найти здесь.

О APOLLO RESEARCH Быстрый рост возможностей ИИ предлагает огромные перспективы, но также сопряжен со значительными рисками. В Apollo Research мы в первую очередь обеспокоены рисками потери контроля (Loss of Control), т. е. рисками, исходящими от самой модели, а не, например, от злоупотребления ИИ людьми. Нас особенно беспокоит обманчивое выравнивание/схемное поведение (deceptive alignment / scheming) — явление, при котором модель кажется выровненной, но на самом деле является невыровненной и способной избегать человеческого надзора. Мы работаем над наукой о схемном поведении, его обнаружением (например, созданием оценок) и мерами по его предотвращению (например, анти-схеминговыми решениями). Мы также работаем над исследованиями в области контроля и мониторинга (см. нашу повестку дня по масштабируемому мониторингу). Мы тесно сотрудничаем со многими передовыми ИИ-компаниями, такими как OpenAI, Anthropic, Google, Meta, Thinking Machines и другими, например, для тестирования их моделей и совместной работы над наукой о схемном поведении. В Apollo мы стремимся к культуре, которая подчеркивает поиск истины, целеустремленность, предоставление и получение конструктивной обратной связи, а также дружелюбие и готовность помочь. Если вас интересуют более подробные сведения о работе в Apollo, вы можете найти больше информации здесь. Мы также разрабатываем продукт для обеспечения безопасности кодирующих агентов под названием Watcher, который обеспечивает безопасность развертываний агентов в компаниях. Наша цель — снизить вероятность катастрофических инцидентов путем обеспечения безопасности кодирующих агентов, изучения их реальных рисков и публикации наших исследований о том, как наиболее эффективно создавать эти системы контроля. Заявление о равенстве: Apollo Research является работодателем, предоставляющим равные возможности. Мы ценим разнообразие и стремимся предоставлять равные возможности всем, независимо от возраста, инвалидности, смены гендерной идентичности, брака и гражданского партнерства, беременности и материнства, расы, религии или убеждений, пола или сексуальной ориентации.

КАК ПОДАТЬ ЗАЯВКУ Пожалуйста, заполните форму заявки, приложив свое резюме. Предоставление сопроводительного письма не требуется и не поощряется. Также не стесняйтесь делиться ссылками на соответствующие образцы работ. О процессе собеседования: Наш многоэтапный процесс включает скрининговое интервью, тестовое задание на дом (3 часа), 3 технических интервью и финальное интервью с Марийем (CEO). Нет интервью по общим навыкам программирования в стиле LeetCode. Вы можете использовать ИИ-инструменты для выполнения тестового задания; мы оцениваем результат так же, как оценивали бы работу любого участника, поэтому вы несете ответственность за качество всего, что вы представляете. Если вы хотите подготовиться, мы предлагаем создать простые мониторы для кодирующих агентов и запустить их на собственном трафике Claude Code / Cursor / Codex / и т. д. Ваша конфиденциальность и справедливость в нашем процессе найма: Мы стремимся защищать ваши данные, обеспечивать справедливость и соблюдать принципы справедливости на рабочем месте в нашем процессе найма. Для повышения эффективности найма мы используем ИИ-инструменты для помощи в таких задачах, как скрининг резюме. Эти инструменты разработаны и развернуты в соответствии с международно признанными фреймворками управления ИИ. Ваши персональные данные обрабатываются безопасно и прозрачно. Все резюме проходят проверку человеком, а окончательные решения о найме принимаются нашей командой. Если у вас есть вопросы о том, как обрабатываются ваши данные, или вы хотите сообщить о проблемах, связанных со справедливостью, свяжитесь с нами по адресу контакт рекрутера.