AI Security Researcher

Должность: Исследователь в области безопасности ИИ Местоположение: Лондон и Сан-Франциско / на территории компании

ВОЗМОЖНОСТИ

Apollo Research сотрудничает с большинством передовых ИИ-компаний (OpenAI, Anthropic, Google, Meta, Thinking Machines и др.) для тестирования их моделей перед развертыванием и совместной работы над фундаментальными исследованиями в области «схем». Наш продукт для обеспечения безопасности кодовых агентов, Watcher, развернут в производстве и отслеживает миллиарды токенов агентов в месяц в инженерных командах быстрорастущих компаний, создающих агентов, и в корпоративном сегменте. Безопасность существует в Apollo для защиты доверия, которое лаборатории оказывают нам, и для обеспечения этой исследовательской деятельности. Наша собственная команда широко использует ИИ-агентов в своей работе, что делает Apollo одновременно и мишенью, и испытательным полигоном. Мы нанимаем исследователей в области безопасности ИИ для присоединения к команде Infra & Security. В этой роли вы будете выявлять, исследовать и устранять как обычные угрозы, так и новые риски, связанные с ИИ-агентами, которые могут повлиять на Apollo и нашу миссию. Вы переопределите и будете работать над новым классом инсайдерских рисков, которых раньше не существовало.

ОБЯЗАННОСТИ

• Нести ответственность за безопасность внутренних поверхностей Apollo. Проводить Red-team тестирование внутреннего программного обеспечения, инфраструктуры и элементов управления доступом/мониторинга ИИ-агентов. Строить реалистичные траектории атак.
• Разрабатывать решения для новых или возникающих угроз в области безопасности ИИ, где не существует применимых готовых инструкций. Устанавливать стандарты нашей безопасности в этих областях.
• Отслеживать тактики, методы и кампании противника, имеющие отношение к ландшафту угроз Apollo, и преобразовывать эту информацию в настроенные, высокосигнальные обнаружения.
• Отвечать за каждое найденное уязвимость до внедрения исправления. Создавать и внедрять надежные средства контроля: проверки, тесты, настройки по умолчанию, системы обнаружения. Распространять информацию о них, работать с инженерами над их внедрением и устанавливать высокую планку для устранения уязвимостей.

ОСНОВНЫЕ ТРЕБОВАНИЯ

Обязательно

• 5+ лет опыта работы в сфере безопасности на технической должности (не только GRC/compliance). Вам потребуется структурно мыслить о моделировании угроз и режимах сбоев. Вам нужно уметь читать код, понимать инфраструктуру и оценивать технические средства контроля.
• Прямой опыт в области наступательной безопасности. Моделирование угроз, Red-teaming и т. д. Знание приложений или облачных технологий. В идеале вы отвечали или внесли значительный вклад в обеспечение безопасности организации или продукта, обрабатывающего конфиденциальные данные клиентов.
• Инженерный склад ума. Вы относитесь к безопасности как к инженерной проблеме. Вы можете преобразовывать свои находки в исправления и средства контроля, такие как готовые решения («paved roads»), пользовательские правила обнаружения, наборы тестов на основе противника, интеграции CI/CD. Вы отдаете приоритет автоматизации и системному мышлению для масштабирования безопасности, и вы комфортно используете ИИ для ускорения разработки.
• Темп стартапа. Вас привлекает быстро меняющаяся среда, вы комфортно чувствуете себя в условиях неопределенности и меняющихся приоритетов, и готовы усердно работать, когда это необходимо.
• Отличные письменные коммуникативные навыки. Эта роль предполагает создание большого количества артефактов (модели угроз, отчеты, документация по режимам сбоев), и они должны быть четкими и точными.

Желательно

• Опыт работы с системами безопасности ИИ/ML или безопасностью LLM.
• Опыт в области разработки средств обнаружения, SOC или анализа инцидентов.
• Знакомство с программами по инсайдерским угрозам или фреймворками по инсайдерским рискам.

Явно не требуется

• Формальное образование в области исследований безопасности ИИ. Нам нужны практики в области безопасности, которые могут изучить контекст безопасности ИИ, а не исследователи безопасности ИИ, которым нужно изучать безопасность.
• Мы хотим подчеркнуть, что люди, которые считают, что они не соответствуют всем этим характеристикам, но думают, что они хорошо подходят для этой должности, тем не менее, настоятельно приглашаются к подаче заявления.

ПРИМЕРЫ ПРОЕКТОВ

• Red-team тестирование песочниц агентов Apollo, используемых для оценки: Проверить, может ли агент выйти из изоляции, эксфильтровать данные, обнаружить, что его оценивают, или иным образом подорвать достоверность результатов оценки. Ваши находки укрепят инфраструктуру песочницы, на которую полагается исследовательская группа, чтобы доверять своим собственным результатам оценки.
• Комплексная модель угроз кодовых агентов: Составить карту всех способов, которыми кодовый агент с внутренним доступом (учетные данные, код, сеть, возможность выполнения) может атаковать Apollo, сравнивая с тем, что мог бы сделать человек-инсайдер с таким же доступом.
• А также примеры проектов для должности Security Engineer.

ПРЕИМУЩЕСТВА

Эта роль предлагает конкурентную на рынке заработную плату, опционы и конкурентные льготы.

• Зарплата: Сан-Франциско: $214 000 – $280 000; Лондон: £144 000 – £189 000. Мы планируем значительно повысить заработную плату в ближайшее время.
• Наши инженеры фактически имеют неограниченный бюджет токенов. Если лучший результат требует больше вычислительных ресурсов, используйте их.
• Гибкие рабочие часы и график.
• Неограниченный отпуск.
• Неограниченный больничный.
• До 6 месяцев оплачиваемого отпуска по уходу за ребенком.
• Комплексное медицинское страхование, включая стоматологию и офтальмологию.
• Пенсионные накопления с конкурентным софинансированием работодателем (например, 401(k) для сотрудников из США).
• Обед, ужин и закуски предоставляются всем сотрудникам в рабочие дни.
• Оплачиваемые рабочие поездки, включая ретриты сотрудников, деловые поездки и соответствующие конференции.
• Ежегодный бюджет в размере $1000 (USD) на профессиональное развитие.
• Поддержка при переезде и оплата визовых сборов (при необходимости).

ЛОГИСТИКА

• Распределение времени: Полная занятость.
• Местоположение: Это роль, требующая присутствия в офисе, работа из наших офисов в Лондоне или Сан-Франциско. Мы предлагаем гибкие рабочие часы и возможность частичной удаленной работы.
• Визовая поддержка: Мы предоставляем визовую поддержку как в Великобритании, так и в США. Поддержка не гарантируется для каждой должности или кандидата, но если мы сделаем вам предложение, мы будем работать с вами, чтобы найти подходящий визовый маршрут.

О КОМАНДЕ

Команда Infra and Security в настоящее время возглавляется Рушебом Шахом и состоит из Глена Роджерса и Стивена Ли. Вы будете тесно сотрудничать с инженерами по безопасности, которых мы нанимаем, а также с техническим персоналом из команд Scheming Research и Product. Полный состав нашей команды можно найти здесь.

О APOLLO RESEARCH

Быстрый рост возможностей ИИ предлагает огромные возможности, но также сопряжен со значительными рисками. В Apollo Research мы в первую очередь обеспокоены рисками потери контроля, то есть рисками, исходящими от самой модели, а не, например, от злоупотребления ИИ людьми. Мы особенно обеспокоены обманчивым согласованием / «схемами» — явлением, при котором модель кажется согласованной, но на самом деле не согласована и способна избегать человеческого надзора. Мы работаем над наукой о «схемах», обнаружением «схем» (например, созданием оценок) и смягчением последствий «схем» (например, анти-схем). Мы также работаем над исследованиями в области контроля и мониторинга (см. нашу повестку дня по масштабируемому мониторингу). Мы тесно сотрудничаем со многими передовыми ИИ-компаниями, такими как OpenAI, Anthropic, Google, Meta, Thinking Machines и другими, например, для тестирования их моделей и совместной работы над наукой о «схемах». В Apollo мы стремимся к культуре, которая подчеркивает поиск истины, ориентацию на результат, предоставление и получение конструктивной обратной связи, а также дружелюбие и готовность помочь. Если вас интересуют более подробные сведения о том, каково это — работать в Apollo, вы можете найти дополнительную информацию здесь. Мы также разрабатываем продукт для обеспечения безопасности кодовых агентов под названием Watcher, который обеспечивает безопасность развертывания агентов в компаниях. Наша цель — снизить вероятность катастрофических инцидентов, обеспечивая безопасность кодовых агентов, изучая их реальные риски и публикуя наши исследования о том, как наиболее эффективно создавать эти системы контроля.

Заявление о равенстве: Apollo Research является работодателем, предоставляющим равные возможности. Мы ценим разнообразие и стремимся предоставлять равные возможности всем, независимо от возраста, инвалидности, смены гендерной идентичности, брака и гражданского партнерства, беременности и материнства, расы, религии или убеждений, пола или сексуальной ориентации.

КАК ПОДАТЬ ЗАЯВКУ

Пожалуйста, заполните форму заявки, приложив свое резюме. Предоставление сопроводительного письма не требуется и не поощряется. Пожалуйста, не стесняйтесь также делиться ссылками на соответствующие образцы работ. О процессе собеседования: Наш многоэтапный процесс включает скрининговое интервью, тестовое задание на дом (примерно 2-3 часа), 3 технических интервью и финальное интервью с Мариусом (CEO). Нет никаких общих собеседований в стиле leetcode. Вы можете использовать ИИ-инструменты для выполнения тестового задания; мы оцениваем результат так же, как оценивали бы работу любого другого участника, поэтому вы несете ответственность за качество всего, что вы отправляете.

Ваша конфиденциальность и справедливость в нашем процессе найма: Мы стремимся защищать ваши данные, обеспечивать справедливость и соблюдать принципы справедливости на рабочем месте в нашем процессе найма. Для повышения эффективности найма мы используем ИИ-инструменты для помощи в таких задачах, как скрининг резюме. Эти инструменты разработаны и развернуты в соответствии с международно признанными системами управления ИИ. Ваши личные данные обрабатываются безопасно и прозрачно. Все резюме проверяются человеком, а окончательные решения о найме принимаются нашей командой. Если у вас есть вопросы о том, как обрабатываются ваши данные, или вы хотите сообщить о проблемах, касающихся справедливости, свяжитесь с нами по адресу контакт рекрутера.