Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Apollo Research
Лондон, Великобритания15 дней назад
245 000 – 590 000 USD
в год
Грейд
Lead
Формат работы
Офис, Гибрид, Удалённо
Тип занятости
Полная занятость
Уровень английского
B2, выше среднего
Релокация
Великобритания, Соединенные Штаты, Лондон, Сан-Франциско
Письмо на почту или сообщение рекрутеру в Telegram
Инцидент с OpenAI/Hugging Face может стать самым серьезным предупреждением, которое мы получим, прежде чем столкнемся с катастрофической потерей контроля. После него Anthropic и OpenAI обязались предоставить встроенным специалистам по оценке беспрецедентный уровень доступа.
Встроенные оценки — это лучший существующий метод, чтобы выяснить, соответствует ли процесс согласования ожиданиям. Учитывая, что OpenAI прогнозирует появление автоматизированного исследователя к марту 2028 года, у нас нет времени начинать с MVP встроенной оценки и итеративно улучшать его. Первые встроенные оценки установят стандарт, и мы должны сделать их правильно.
Как фундаментальный исследователь, вы сделаете наши встроенные оценки лучше благодаря своим новаторским открытиям. Например, наша статья команды фундаментальной науки «Измерение стремления к вознаграждению с помощью контрастных обновлений убеждений» может быть адаптирована встроенными специалистами по оценке. Мы хотим больше таких прорывов.
Мы также разрабатываем «Науку о коварстве». Цель амбициозна, и мы ищем ученых-исследователей и инженеров-исследователей, которые готовы с нуля построить новую точную науку.
Быстрый рост возможностей ИИ предоставляет огромные возможности, но также несет значительные риски. В Apollo Research мы в первую очередь обеспокоены рисками потери контроля, то есть рисками, исходящими от самой модели, а не, например, от неправильного использования ИИ людьми. Мы особенно обеспокоены обманчивым согласованием / коварством, феноменом, при котором модель кажется согласованной, но на самом деле не согласована и способна обойти человеческий надзор.
Мы работаем над обнаружением коварства (например, созданием оценок и новых методов оценки), наукой о коварстве (например, модельными организмами и изучением тенденций масштабирования) и методами смягчения последствий коварства (например, контролем). Мы тесно сотрудничаем с несколькими передовыми ИИ-компаниями, например, для тестирования их моделей перед развертыванием и сотрудничества в области фундаментальных исследований.
В Apollo мы стремимся к культуре, которая подчеркивает поиск истины, целеустремленность, предоставление и получение конструктивной обратной связи, а также дружелюбие и готовность помочь. Если вы заинтересованы в более подробной информации о том, каково это — работать в Apollo, вы можете найти больше информации здесь.
Алекс Мейнке руководит исследовательской повесткой дня команды фундаментальной науки под руководством Мариуса Хоббхана, хотя члены команды руководят отдельными проектами. Вы в основном будете работать с командой фундаментальной науки, а также с нашей командой инженеров-программистов, но, вероятно, иногда будете взаимодействовать с командой по управлению, чтобы переводить технические знания в конкретные рекомендации. Вы можете найти нашу полную команду здесь.
В зависимости от вашего опыта вам может быть предложена руководящая или индивидуальная позиция.
Мы хотим подчеркнуть, что люди, которые считают, что не соответствуют всем этим характеристикам, но думают, что они подойдут для этой должности, тем не менее, настоятельно приглашаются подать заявку. Мы верим, что отличные кандидаты могут прийти из разных словей, и мы рады предоставить вам возможность проявить себя. Нам не требуется формальное образование или опыт работы в отрасли, и мы приветствуем кандидатов, обучившихся самостоятельно.
Эта должность предлагает рыночную заработную плату, опционы и конкурентные льготы.
ЛОГИСТИКА Распределение времени: Полный рабочий день Местоположение: Это работа в офисе в Лондоне или Сан-Франциско. Мы предлагаем гибкий график работы и возможность работать из дома. Удаленные кандидаты будут рассматриваться только в том случае, если они исключительны и могут путешествовать не реже 1 раза в месяц в любой из офисов. Спонсирование виз: Мы спонсируем визы как в Великобританию, так и в США. Спонсирование не гарантируется для каждой должности или кандидата, но если мы сделаем вам предложение, мы будем работать с вами, чтобы найти правильный визовый маршрут.
Application deadline: We are conducting interviews actively and aim to fill this role as soon as we find someone suitable.
The OpenAI/Hugging Face incident may be the biggest warning shot we get before catastrophic loss-of-control. In its aftermath, Anthropic and OpenAI committed to giving embedded evaluators an unprecedented level of access.
Embedded evaluations are the best existing method to find out whether alignment is on track. With OpenAI predicting an automated researcher by March 2028, we don't have time to start with an MVP embedded evaluation and iteratively improve it. The first embedded evaluations will set the standard and we have to get it right.
As a fundamental researcher, your ground-breaking discoveries will make our embedded evaluations better. For example, our fundamental science team's paper “Measuring Reward-Seeking via Contrastive Belief Updates” can be adapted by embedded evaluators. We want more breakthroughs like this.
We are also developing a “Science of Scheming”. The goal is ambitious and we’re looking for Research Scientists and Research Engineers who are excited to build a new hard science from the ground up.
KEY RESPONSIBILITIES
KEY REQUIREMENTS
NICE TO HAVES
We want to emphasize that people who feel they don’t fulfill all of these characteristics but think they would be a good fit for the position, nonetheless, are strongly encouraged to apply. We believe that excellent candidates can come from a variety of backgrounds and are excited to give you opportunities to shine. We don’t require a formal background or industry experience and welcome self-taught candidates.
BENEFITS This role offers a market-competitive salary, equity, and competitive benefits. Depending on your experience, you may be offered a Lead or individual contributor position. Salary:
LOGISTICS Time Allocation: Full-time Location: This is an in-person role working out of our London or San Francisco office. We offer flexible working hours and wfh arrangements. Remote candidates will only be considered if they are exceptional and can travel at least 1 week/month to either office. Visa sponsorship: We sponsor visas in both the UK and US. Sponsorship isn't guaranteed for every role or candidate, but if we make you an offer, we'll work with you to find the right visa route.
The rapid rise in AI capabilities offers tremendous opportunities, but also presents significant risks. At Apollo Research, we’re primarily concerned with risks from Loss of Control, i.e. risks coming from the model itself rather than e.g. humans misusing the AI. We’re particularly concerned with deceptive alignment / scheming, a phenomenon where a model appears to be aligned but is, in fact, misaligned and capable of evading human oversight.
We work on the detection of scheming (e.g., building evaluations and novel evaluation techniques), the science of scheming (e.g., model organisms and the study of scaling trends), and scheming mitigations (e.g., control). We closely work with multiple frontier AI companies, e.g. to test their models before deployment and collaborate on fundamental research.
At Apollo, we aim for a culture that emphasizes truth-seeking, being goal-oriented, giving and receiving constructive feedback, and being friendly and helpful. If you’re interested in more details about what it’s like working at Apollo, you can find more information here.
Alex Meinke leads the fundamental science team’s research agenda with guidance from Marius Hobbhahn, though team members lead individual projects. You will mostly work with the fundamental science team as well as our team of software engineers, but you will likely sometimes interact with the governance team to translate technical knowledge into concrete recommendations. You can find our full team here.
Equality Statement: Apollo Research is an Equal Opportunity Employer. We value diversity and are committed to providing equal opportunities to all, regardless of age, disability, gender reassignment, marriage and civil partnership, pregnancy and maternity, race, religion or belief, sex, or sexual orientation.
How to apply: Please complete the application form with your CV. The provision of a cover letter is optional but not necessary. Please also feel free to share links to relevant work samples.
About the interview process: Our multi-stage process includes a screening interview, 3 technical interviews, and a final interview with Marius (CEO). The technical interviews will be closely related to tasks the candidate would do on the job. There are no LeetCode-style general coding interviews. If you want to prepare for the interviews, we suggest looking at one of our papers or blog posts published in the last 12 months. Then either (a) replicate/extend the result hands-on, or (b) identify a conceptual limitation and write a shovel-ready project plan that would address it.
Your Privacy and Fairness in Our Recruitment Process: We are committed to protecting your data, ensuring fairness, and adhering to workplace fairness principles in our recruitment process. To enhance hiring efficiency, we use AI-powered tools to assist with tasks such as resume screening. These tools are designed and deployed in compliance with internationally recognized AI governance frameworks. Your personal data is handled securely and transparently. We adopt a human-centred approach: all resumes are screened by a human and final hiring decisions are made by our team. If you have questions about how your data is processed or wish to report concerns about fairness, please contact us at .
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 143 000 до 180 000