AI Red Team Engineer

ВОЗМОЖНОСТЬ

В настоящее время мы разрабатываем Watcher — инструмент мониторинга для кодирующих агентов. Наша исследовательская программа в области мониторинга пытается масштабировать вычисления для обеспечения безопасности. Ранее Red-Teaming входил в обязанности RS (Control) как частичная ответственность. Поскольку он вырос из одного пилотного проекта до постоянной потребности, теперь у него должен быть выделенный владелец. В качестве AI Red Team Engineer вы будете помогать развивать практику Red-Teaming для AI-мониторов (как собственных защитных механизмов Watcher, так и систем мониторинга передовых лабораторий (см. нашу пилотную кампанию Red-Teaming авто-режима Anthropic). Вы будете искать поверхности для атак на мониторы, которые еще не были протестированы, и превращать найденное в исправления. Вы будете тесно сотрудничать с Мариусом (CEO и в настоящее время руководит усилиями по мониторингу), исследователями Control и инженерами-разработчиками. Эта возможность вам понравится, если вы мыслите как злоумышленник и хотите, чтобы ваши результаты атак напрямую усиливали системы мониторинга ИИ. Вы присоединитесь к небольшой команде и будете иметь значительные возможности для формирования команды и технологий, а также возможность быстро брать на себя ответственность.

ОСНОВНЫЕ ОБЯЗАННОСТИ

• Разработка и проведение кампаний Red-Teaming, сочетающих инъекцию режимов отказа с оценкой серьезности в реальных траекториях, статические бенчмарки мониторинга (например, MonitoringBench) и динамическое Red-Teaming управления вне политики.
• Выявление новых поверхностей для атак, против которых мониторы еще не тестировались.
• Создание и поддержка автоматизированных конвейеров Red-Teaming, которые атакуют мониторы в масштабе, вместо того чтобы полагаться на разовое ручное исследование.
• Разработка итеративных игр Red-Team/Blue-Team с использованием атак, работая с RS (Control) на стороне Blue-Team для постоянного увеличения сложности атак по мере совершенствования мониторов.
• Отслеживание исследовательской литературы и реальных инцидентов, связанных с режимами отказа агентов, уклонением от мониторинга и устойчивостью к атакам.
• Превращение каждой кампании в конкретные, действенные рекомендации для разработчиков мониторов, например, по времени вмешательства, авторизации пользователей, границам доверия и видимости монитора.
• Оформление результатов кампаний в виде внешних публикаций и внутренних отчетов.
• Передача результатов разработки мониторов Watcher и исследований Blue-Teaming Apollo, чтобы уроки, извлеченные из внешнего опыта, укрепляли наш собственный продукт.

ТРЕБОВАНИЯ К КАНДИДАТУ

Обязательно

• Более 2 лет опыта в области наступательной безопасности, adversarial ML или Red-Teaming систем ИИ.
• Значительный опыт работы с кодирующими агентами ИИ, обширное использование, сравнение или прямая разработка передовых кодирующих агентов.
• Опыт разработки и проведения структурированных кампаний по тестированию на устойчивость к атакам.
• Сильные навыки программирования на Python.
• Отличные навыки письменного общения, так как вы будете создавать публикации и отчеты о кампаниях, которые должны быть ясными и достоверными для внешней аудитории.
• Подтвержденная способность самостоятельно работать над открытыми проблемами, связанными с атаками.

Желательно

• Знакомство с концепциями безопасности ИИ, особенно с рисками, связанными с агентами.
• Опыт работы с настройками LLM-as-a-judge или с мониторингом ИИ в более широком смысле.
• Опыт работы в области тестирования на проникновение, CTF или компьютерной безопасности в целом.

Мы хотим подчеркнуть, что люди, которые считают, что не соответствуют всем этим характеристикам, но думают, что тем не менее подойдут для этой должности, настоятельно призываем подавать заявки. Мы верим, что отличные кандидаты могут прийти из разных словей, и мы рады предоставить вам возможности для проявления себя.

ПРИМЕРЫ ПРОЕКТОВ

• Проведение кампании Red-Teaming против монитора передовой лаборатории: работа с реальными сессиями кодирования с инъекцией атак в различных режимах отказа, выявление областей для улучшения и предоставление действенных рекомендаций, которые партнерская лаборатория сможет реализовать.
• Создание автоматизированного конвейера Red-Teaming, который атакует мониторы Watcher в масштабе, вместо разового ручного Red-Teaming.
• Исследование новой поверхности для атаки: новая возможность агента или новый вектор уклонения, еще не включенный в каталог режимов отказа Apollo, и подготовка отчета и рекомендаций для команды мониторинга.

ПРЕИМУЩЕСТВА

Эта роль предлагает конкурентоспособную на рынке заработную плату, опционы и конкурентоспособные льготы. Заработная плата: Сан-Франциско: $182 000 – $238 000; Лондон: £122 000 – £160 000. Мы планируем в ближайшее время значительно повысить заработную плату.

• Гибкие рабочие часы и график.
• Неограниченный отпуск.
• Неограниченные больничные.
• До 6 месяцев оплачиваемого отпуска по уходу за ребенком.
• Комплексное медицинское страхование, страхование стоматологических услуг и зрения.
• Сбережения на пенсию с конкурентным взносом работодателя (например, 401(k) для сотрудников из США).
• Обеды, ужины и закуски предоставляются всем сотрудникам в рабочие дни.
• Оплачиваемые рабочие поездки, включая ретриты для персонала, деловые поездки и соответствующие конференции.
• Ежегодный бюджет в размере 1000 долларов США на профессиональное развитие.
• Поддержка при переезде и оплата визовых сборов (при необходимости).

ЛОГИСТИКА

Распределение времени: Полная занятость. Местоположение: Это роль, требующая присутствия в офисе в нашем лондонском или сан-францисском офисе. Мы предлагаем гибкие рабочие часы и возможность работать удаленно. Визовая поддержка: Мы предоставляем визовую поддержку как в Великобритании, так и в США. Поддержка не гарантируется для каждой роли или кандидата, но если мы сделаем вам предложение, мы поможем вам найти подходящий визовый маршрут.

О КОМАНДЕ

Команда продукта состоит из научных сотрудников: Victor Gillioz, Monika Jotautaitė, Dmitrii Volkov; инженеров-разработчиков: Jeremy Neiman, Zak Walters, Zen van Riel, Srdjan Miletic и Gustavo Bicalho; и нашего GTM-лида: Kyle Dai. Marius Hobbhahn (CEO) консультирует команду. Кроме того, вы будете взаимодействовать с нашими другими SWE и исследователями, поскольку мы намерены быть "собственными клиентами", используя наши продукты внутри компании для нашей исследовательской работы. Полную информацию о нашей команде можно найти здесь.

О APOLLO RESEARCH

Быстрый рост возможностей ИИ предлагает огромные возможности, но также представляет значительные риски. В Apollo Research нас в первую очередь беспокоят риски потери контроля, т. е. риски, исходящие от самой модели, а не, например, от злоупотребления ИИ со стороны людей. Мы особенно обеспокоены обманчивым согласованием / планированием — явлением, при котором модель кажется согласованной, но на самом деле не согласована и способна обойти человеческий надзор. Мы работаем над наукой о планировании, обнаружением планирования (например, созданием оценок) и смягчением последствий планирования (например, противодействием планированию). Мы также работаем над исследованиями в области контроля и мониторинга (см. нашу программу масштабируемого мониторинга). Мы тесно сотрудничаем со многими передовыми компаниями в области ИИ, такими как OpenAI, Anthropic, Google, Meta, Thinking Machines и другими, например, для тестирования их моделей и сотрудничества в области науки о планировании. В Apollo мы стремимся к культуре, которая подчеркивает поиск истины, ориентацию на цели, предоставление и получение конструктивной обратной связи, а также дружелюбие и готовность помочь. Если вас интересуют более подробные сведения о работе в Apollo, вы можете найти дополнительную информацию здесь. Мы также разрабатываем продукт безопасности кодирующих агентов под названием Watcher, который обеспечивает безопасность развертывания агентов в компаниях. Наша цель — снизить вероятность катастрофических инцидентов путем обеспечения безопасности кодирующих агентов, изучения их реальных рисков и публикации наших исследований о том, как наиболее эффективно создавать эти системы контроля. Заявление о равенстве: Apollo Research является работодателем, предоставляющим равные возможности. Мы ценим разнообразие и стремимся предоставлять равные возможности всем, независимо от возраста, инвалидности, смены пола, брака и гражданского партнерства, беременности и материнства, расы, религии или убеждений, пола или сексуальной ориентации.

КАК ПОДАТЬ ЗАЯВКУ

Пожалуйста, заполните форму заявки, приложив свое резюме. Предоставление сопроводительного письма не требуется и не поощряется. Пожалуйста, не стесняйтесь делиться ссылками на соответствующие примеры работ. О процессе собеседования: Наш многоэтапный процесс включает скрининговое интервью, тестовое задание на дом (3 часа), 3 технических интервью и финальное интервью с Мариусом (CEO). Нет общих собеседований в стиле LeetCode. Вы можете использовать инструменты ИИ для выполнения тестового задания; мы оцениваем результат так же, как оценивали бы работу любого другого участника, поэтому вы несете ответственность за качество всего, что вы представляете. Если вы хотите подготовиться, мы предлагаем создать простые мониторы для кодирующих агентов и запустить их на своем собственном трафике Claude Code / Cursor / Codex / и т. д. Ваша конфиденциальность и справедливость в нашем процессе найма: Мы стремимся защищать ваши данные, обеспечивать справедливость и соблюдать принципы справедливости на рабочем месте в нашем процессе найма. Для повышения эффективности найма мы используем инструменты на базе ИИ для выполнения таких задач, как проверка резюме. Эти инструменты разработаны и внедрены в соответствии с общепризнанными системами управления ИИ. Ваши личные данные обрабатываются безопасно и прозрачно. Все резюме проверяются человеком, а окончательные решения о найме принимаются нашей командой. Если у вас есть вопросы о том, как обрабатываются ваши данные, или вы хотите сообщить о проблемах, касающихся справедливости, свяжитесь с нами по адресу контакт рекрутера.