Research Scientist (Control)

Должность: Научный сотрудник (Контроль) Местоположение: Лондон и Сан-Франциско / на месте

ВОЗМОЖНОСТЬ

Присоединяйтесь к нашей новой команде по продуктам безопасности AGI и помогите трансформировать исследования в области контроля ИИ в практические инструменты, которые напрямую снижают риски, связанные с ИИ. В качестве научного сотрудника (Контроль) вы будете тесно сотрудничать с Мариусом (генеральным директором, который в настоящее время руководит усилиями по мониторингу), другими исследователями в области контроля и инженерами по продуктам.

В настоящее время мы разрабатываем Watcher, инструмент мониторинга для кодирующих агентов. Наша исследовательская повестка дня в области мониторинга пытается масштабировать вычисления для обеспечения безопасности. Вы присоединитесь к небольшой команде и будете иметь значительную возможность формировать команду и технологии, а также быстро обретете ответственность. Вам понравится эта возможность, если вы увлечены использованием эмпирических исследований для повышения практической безопасности систем ИИ. Вам нравится решать задачу преобразования теоретических рисков ИИ в конкретные механизмы обнаружения. Вы процветаете благодаря быстрой итерации и обучению на основе данных. Вы хотите, чтобы ваши исследования напрямую влияли на безопасность ИИ в реальном мире.

ОСНОВНЫЕ ОБЯЗАННОСТИ

Кратко: вы будете разрабатывать и внедрять протоколы контроля и тестировать их на реальных производственных системах в масштабе.

Исследования и разработка

• Разрабатывать и проводить эксперименты для проверки эффективности мониторинга при различных режимах отказа и поведении агентов
• Создавать и поддерживать фреймворки оценки для измерения прогресса в возможностях мониторинга
• Создавать и поддерживать высококачественные наборы данных для обучения и тестирования мониторов
• Итерировать подходы к мониторингу на основе эмпирических результатов, балансируя точность обнаружения с вычислительной эффективностью
• Вносить вновь обнаруженные режимы отказа кодирующих агентов в общую библиотеку режимов отказа Apollo (принадлежащую исследователю/инженеру по безопасности и контролю ИИ) по мере их появления во время разработки, оценки и итерации мониторов
• Следить за исследованиями в области безопасности ИИ, сбоев агентов и методологий обнаружения
• Следить за исследованиями в области безопасности кодирования и уязвимостей безопасности

Тонкая настройка и разработка мониторов

• Тонко настраивать модели с открытым исходным кодом для создания эффективных мониторов для высокопроизводительных производственных сред
• Разрабатывать и создавать агентные системы мониторинга, которые автономно анализируют журналы для выявления как известных, так и новых режимов отказа
• Включать результаты adversarial-атак из кампаний red-teaming в дизайн и оценку мониторов, замыкая цикл между атакой и защитой

ТРЕБОВАНИЯ К КАНДИДАТУ

Обязательные требования

• Более 2 лет опыта проведения эмпирических исследований с большими языковыми моделями или системами ИИ
• Богатый опыт работы с кодирующими агентами ИИ. Например, обширное использование и сравнение передовых кодирующих агентов, или разработка/создание кодирующих агентов
• Опыт работы с LLM-as-a-judge или мониторингом ИИ в более широком смысле
• Опыт проектирования и проведения экспериментов, анализа результатов и итераций на основе эмпирических данных, например, промптинга, скаффолдинга, проектирования агентов, тонкой настройки или RL
• Отличные навыки программирования на Python
• Подтвержденная способность самостоятельно работать над исследовательскими задачами с открытым финалом

Желательные требования

• Знакомство с концепциями безопасности ИИ, особенно с рисками, связанными с агентами
• Знакомство с компьютерной безопасностью, например, с тестированием безопасности и безопасным дизайном систем
• Опыт тонкой настройки языковых моделей или работы с небольшими моделями с открытым исходным кодом
• Предыдущий опыт создания инструментов для разработчиков или систем мониторинга
• Публикации или вклад в исследования в области безопасности ИИ или ML
• Опыт работы с производственными системами логирования или анализа производственных логов

Мы хотим подчеркнуть, что люди, которые считают, что они не соответствуют всем этим характеристикам, но тем не менее считают, что они подойдут на эту должность, настоятельно призываются подать заявку.

ПРИМЕРНЫЕ ПРОЕКТЫ

Иерархический мониторинг безопасности кодирующих агентов

Разработайте многоуровневую систему мониторинга для обнаружения уязвимостей безопасности, внедренных кодирующими агентами. Начните с каталогизации распространенных режимов отказа безопасности (например, жестко закодированных учетных данных, уязвимостей SQL-инъекций, небезопасных вызовов API). Создайте специализированные мониторы для каждой категории, затем создайте иерархическую систему, где быстрые, эффективные мониторы первого прохода отмечают потенциально проблемный код для более глубокого исследования более сложными мониторами.

Разработать стратегию бэктестинга для Watcher

Проверьте систему на синтетических тестовых случаях и реальных выходных данных агентов, итерируя для оптимизации компромисса между скоростью обнаружения и ложными срабатываниями, поддерживая низкую задержку для большинства решений мониторинга.

Тонкая настройка модели с открытым исходным кодом для создания отличного монитора

Возьмите модель с открытым исходным кодом и тонко настройте ее на нашем большом наборе данных сбоев кодирующих агентов с высококачественными истинными метками. Протестируйте различные методы тонкой настройки и измерьте обобщение на наших отложенных данных. Сравните с базовыми моделями, использующими промптинг, по точности, стоимости и задержке. Цель состоит в том, чтобы тонко настроить модели для улучшения парето-фронта мониторов.

ПРЕИМУЩЕСТВА

Эта роль предлагает конкурентоспособную на рынке заработную плату, опционы и конкурентоспособные льготы.

• Заработная плата: Сан-Франциско: $204 000 – $385 000; Лондон: £136 000 – £258 000. Мы планируем в ближайшее время значительно повысить зарплаты.
• Гибкие часы и график работы
• Неограниченный отпуск
• Неограниченный больничный
• До 6 месяцев оплачиваемого отпуска по уходу за ребенком
• Комплексное медицинское страхование, страхование зубов и зрения
• Пенсионные накопления с конкурентным совпадением взносов работодателя (например, 401(k) для сотрудников из США)
• Обед, ужин и закуски предоставляются всем сотрудникам в рабочие дни
• Оплачиваемые командировки, включая выездные мероприятия, деловые поездки и соответствующие конференции
• Ежегодный бюджет на профессиональное развитие в размере 1000 долларов США
• Поддержка при переезде и оплата визовых сборов (при необходимости)

ЛОГИСТИКА

Распределение времени: Полный рабочий день

Местоположение: Эта должность предполагает работу в офисе в Лондоне или Сан-Франциско. Мы предлагаем гибкий график работы и возможность работать удаленно.

Визовая поддержка: Мы оказываем визовую поддержку как в Великобритании, так и в США. Поддержка не гарантируется для каждой должности или кандидата, но если мы предложим вам работу, мы поможем вам найти подходящий визовый маршрут.

О КОМАНДЕ

Продуктовая команда состоит из научных сотрудников: Виктор Жиллоз, Моника Йотаутайте, Дмитрий Волков; инженеров по продуктам: Джереми Найман, Зак Уолтерс, Зен ван Риел, Срджан Милетич и Густаво Бикальхо; и нашего руководителя по развитию рынка: Кайл Дай. Мариус Хоббхан (генеральный директор) консультирует команду. Кроме того, вы будете взаимодействовать с другими нашими инженерами и исследователями, поскольку мы намерены быть «своими собственными клиентами», используя наши продукты внутри компании для нашей исследовательской работы.

О APOLLO RESEARCH

Быстрый рост возможностей ИИ предлагает огромные возможности, но также представляет значительные риски. В Apollo Research мы в первую очередь озабочены рисками потери контроля, то есть рисками, исходящими от самой модели, а не, например, от неправильного использования ИИ людьми. Мы особенно озабочены обманчивым соответствием / схемами, явлением, при котором модель кажется соответствующей, но на самом деле не соответствует и способна избежать человеческого надзора.

Мы работаем над наукой о схемах, обнаружением схем (например, созданием оценок) и смягчением последствий схем (например, анти-схемы). Мы также работаем над исследованиями в области контроля и мониторинга (см. нашу повестку дня по масштабируемому мониторингу). Мы тесно сотрудничаем со многими передовыми компаниями в области ИИ, такими как OpenAI, Anthropic, Google, Meta, Thinking Machines и другими, например, для тестирования их моделей и сотрудничества в области науки о схемах. В Apollo мы стремимся к культуре, которая подчеркивает поиск истины, целеустремленность, предоставление и получение конструктивной обратной связи, а также дружелюбие и готовность помочь.

Мы также создаем продукт для обеспечения безопасности кодирующих агентов под названием Watcher, который обеспечивает безопасность развертываний агентов в компаниях. Наша цель — снизить вероятность катастрофических инцидентов, обеспечивая безопасность кодирующих агентов, изучая их реальные риски и публикуя наши исследования о том, как наиболее эффективно создавать эти системы контроля.

Заявление о равенстве: Apollo Research является работодателем с равными возможностями. Мы ценим разнообразие и стремимся предоставлять равные возможности всем, независимо от возраста, инвалидности, смены пола, брака и гражданского партнерства, беременности и материнства, расы, религии или убеждений, пола или сексуальной ориентации.

КАК ПОДАТЬ ЗАЯВКУ

Пожалуйста, заполните форму заявки, приложив свое резюме. Предоставление сопроводительного письма не требуется и не поощряется. Пожалуйста, не стесняйтесь делиться ссылками на соответствующие образцы работ.

О процессе собеседования: Наш многоэтапный процесс включает скрининговое интервью, домашнее задание (3 часа), 3 технических собеседования и финальное интервью с Мариусом (генеральным директором). Нет собеседований по общим вопросам кодирования в стиле leetcode. Вы можете использовать ИИ-инструменты для выполнения домашнего задания; мы оцениваем результат так же, как оценивали бы работу любого участника, поэтому вы несете ответственность за качество всего, что вы предоставляете. Если вы хотите подготовиться, мы предлагаем создать простые мониторы для кодирующих агентов и запустить их на своем собственном трафике Claude Code / Cursor / Codex / и т. д.

Ваша конфиденциальность и справедливость в нашем процессе найма

Мы стремимся защищать ваши данные, обеспечивать справедливость и придерживаться принципов справедливости на рабочем месте в нашем процессе найма. Для повышения эффективности найма мы используем ИИ-инструменты для помощи в таких задачах, как скрининг резюме. Эти инструменты разработаны и развернуты в соответствии с международно признанными системами управления ИИ. Ваши личные данные обрабатываются безопасно и прозрачно. Все резюме проверяются человеком, а окончательные решения о найме принимаются нашей командой. Если у вас есть вопросы о том, как обрабатываются ваши данные, или вы хотите сообщить о проблемах, касающихся справедливости, свяжитесь с нами по адресу контакт рекрутера.