Horizon Scanner (Contractor)

6250$-9500$/месяц удаленно PIBBSS контакт рекрутера Horizon Scanner (Contractor)

## Краткое резюме

Principles of Intelligence (PrincInt) нанимает небольшую группу исследователей для проведения анализа и сканирования горизонтов междисциплинарных подходов к масштабируемому выравниванию (alignment) и смежных областей во время пилотной фазы четырех (4) новых Координированных Исследовательских Программ (CRPs).

В течение оплачиваемого контракта продолжительностью около четырех (4) месяцев вы глубоко и полно изучите ставки, которые делает поле в одной из наших новых областей исследований, разработаете дорожную карту технической работы и определите экспертные сообщества за пределами AI safety, которые должны этим заниматься.

В случае успеха в этой роли вам может быть предложено продление контракта и повышение до Технического директора Координированной Исследовательской Программы, которую вы помогли определить.

## Детали позиции

**Местоположение:** Удаленно, без требований к местоположению.

**Командировки:** Ожидается, что вы посетите как минимум одно очное мероприятие или мероприятие по сканированию горизонтов во время контракта. Транспортные расходы и проживание покрываются.

**Тип:** Контракт примерно на четыре (4) месяца. Предпочтительно полный рабочий день; частичная занятость рассматривается для сильных кандидатов с существующей академической или исследовательской работой.

**Дата начала:** Договорная, с большим предпочтением к началу как можно скорее. Для понимания сроков, контракт, начавшийся в середине или конце ноября 2026 года, продлится примерно до середины или конца марта 2027 года.

**Оплата:** 25 000–38 000 долларов США за ~четыре (4) месяца, в зависимости от уровня квалификации и стоимости жизни в вашем регионе, плюс командировочные расходы. Исключительным кандидатам может быть предложено больше.

**Продление и повышение:** Контракт может быть продлен в зависимости от взаимного соответствия, с потенциальным повышением до Технического директора Координированной Исследовательской Программы, которую вы помогли определить. Зарплата Технического директора выше ставки для данного контракта.

**Отчетность/Сотрудники:** Отчетность перед Исполнительным директором по исследованиям Лукасом Тейшейрой. Вы будете работать вместе с Лорен Гринспан (Технический директор), Сесилией Вуд (Технический директор, Механизмы проектирования) и Дэниелом Херрманном (Сканер горизонтов, Философия).

**Крайний срок подачи заявок:** Пожалуйста, подайте заявку до 5 ноября 2026 года. Заявки рассматриваются на постоянной основе. Более ранние заявки имеют преимущество.

**Рекомендации:** Мы рады получать рекомендации.

## Что такое PrincInt

Principles of Intelligence (PrincInt) — это некоммерческая исследовательская организация 501(c)(3), целью которой является развитие области AI safety путем содействия междисциплинарному взаимодействию с естественными и социальными науками. Мы поддерживаем фундаментальные научные вклады, которые способствуют разработке безопасных и глобально полезных систем ИИ. Через наши исследовательские программы, резидентские программы и усилия по развитию области мы объединяем экспертизу из разных дисциплин для углубления понимания интеллектуального поведения и укрепления научных основ, необходимых для создания согласованных систем ИИ. Мы начали свою деятельность в 2021 году как PIBBSS, а затем приняли название Principles of Intelligence, поскольку работа вышла за рамки стипендии и охватила координированные исследовательские программы, внутренний исследовательский отдел, инкубацию новых исследовательских организаций и фискальное спонсорство независимых лабораторий и исследователей.

Мы разрабатываем и поддерживаем координированные исследовательские программы (CRPs), построенные на принципе использования базовых исследований, вдохновленных потребностями: фундаментальные научные исследования в целях создания общественно значимых благ, связанных с безопасностью ИИ (например, инструменты интерпретируемости с высокой степенью надежности, надежные цели выравнивания). Эта работа соответствует нашей стипендии PIBBSS и расширяет прошлые усилия по развитию области, которые были сосредоточены на поддержке отдельных лиц, а не групп.

Разработка CRP проходит через три фазы:

### Пилотная Группа Horizon Scanners начинает определение масштабов программы, определение того, как будет выглядеть успех, и выявление релевантных экспертных сообществ, прежде чем выйти на связь через отраслевые конференции, семинары и индивидуальные беседы с потенциальными сотрудниками. Семенное финансирование, в свою очередь, поддерживает первоначальную внутреннюю исследовательскую команду, которая обеспечивает базу экспертизы программы. К концу этого этапа мы стремимся продемонстрировать внешним партнерам, что программа заслуживает доверия, а ее проблемы решаемы.

### Масштабирование После того как у программы появится общее видение и интерес со стороны нескольких исследовательских групп, Horizon Scanners тесно сотрудничают с экспертами-партнерами для разработки подробной дорожной карты, которая определяет, что известно, где существуют пробелы и какие подходы следует применять. Затем программа собирает портфель из спланированных исследовательских проектов под руководством различных главных исследователей (PI), каждый из которых занимается основными узкими местами программы с комплементарной точки зрения, в то время как полуприватные семинары и публичные сателлитные мероприятия вовлекают большее количество сообщества в работу.

### Поддержание Программа достигла своей предельной мощности: стабильный портфель финансируемых исследовательских проектов, связанное сообщество партнеров и четкая теория о том, как результаты достигнут своих конечных пользователей. Horizon Scanners переключают акцент на оценку и переход: отслеживание того, какие исследовательские направления дают результаты, а какие нет, и начало предметных обсуждений с лабораториями и регуляторами, которые будут должны воспринять результаты.

Наша первая исследовательская программа, Physics-Informed Ambitious Mechanistic Interpretability (PIAMI), недавно вступила в фазу поддержания и применяет методы из статистической физики, поддерживает работу университетских групп, сотрудничает с сообществом AI safety и включает внутренний полный исследовательский отдел (PIRAMID).

Сейчас мы стремимся расшириться до четырех (4) новых исследовательских программ с целью запуска RFP и инкубации новых групп к следующему академическому циклу найма.

Все четыре открыты для этой когорты.

### Цели выравнивания Что означает, что система ИИ выровнена, и к чему ее следует выравнивать? Мы особенно заинтересованы в целях выравнивания, которые остаются стабильными при непрерывном обучении и оставляют проверяемый след во внутренних механизмах модели.

**Примеры фреймворков:** CEV, corrigibility, Constitutional AI, reward function design.

**Примеры целевых сообществ:** Теория общественного выбора, этика, политическая философия, нейронаука, право.

### Понимание агентов Что такое агент? Когда наши измерения и оценки говорят нам что-то «реальное» о намерениях, убеждениях, желаниях моделей и т. д.? Как такие свойства возникают из низкоуровневой динамики? Как мы можем расширить наше понимание агентности, чтобы наши свойства безопасности оставались надежными по мере изменения систем в результате взрывного роста интеллекта?

**Примеры фреймворков:** Радикальная интерпретация, теория принятия решений, основы агентности, встроенная агентность, AIXI, причинные модели, мировые модели.

**Примеры целевых сообществ:** Философия (теория принятия решений, формальная эпистемология), искусственная жизнь, теоретическое обучение с подкреплением, биология, сложные системы.

### Философия науки о выравнивании ИИ Как мы получаем надежный эпистемический доступ к системам, которые не можем полностью наблюдать? Когда наши оценки и измерения интерпретируемости фактически позволяют делать на их основе утверждения о безопасности? Чему история науки может научить нас о том, как прогрессируют в таких проблемах, как выравнивание, и какие эпистемические стратегии лучше всего подходят для данной области?

**Примеры целевых сообществ:** История и философия науки, исследования науки и технологий.

### Пост-AGI устойчивость и институциональный дизайн Как должны адаптироваться наши экономические, правовые и политические институты, когда когнитивные способности перестанут быть узким местом? Как нам сохранить значимую человеческую агентность и защититься от постепенного обесценивания?

**Примеры целевых сообществ:** Макроэкономика, право, социология, антропология, политическая теория, исследования науки и технологий.

## Роль

Это пилотная фаза, и вы — человек, который ее выполняет.

Каждый Horizon Scanner берет на себя одну из вышеупомянутых программ, составляя карту ее научного ландшафта и случая безопасности, который она должна служить, определяя, как должна продвигаться техническая работа, и определяя как группы, которые уже работают над этими проблемами, так и экспертные сообщества за пределами AI safety, методы которых программа могла бы использовать.

Мы проводим мероприятия и информационную работу наряду с этой деятельностью, и если программа будет успешной, вы можете стать ее Техническим директором.

## Основные обязанности

**Анализ и картирование возможностей.** Вы будете картировать существующую работу в вашей области программы, выявляя технические узкие места и оценивая, какие проблемы являются игнорируемыми и решаемыми, что, в свою очередь, позволяет нам определить исследовательские результаты, которые будут означать прогресс.

**Сканирование горизонтов и идентификация сети.** Вы будете идентифицировать исследователей, группы и смежные области, относящиеся к программе, и оценивать, какой вклад каждая из них может внести, тем самым определяя, где мы должны сотрудничать, кого мы должны нанимать и где требуется целенаправленная поддержка.

**Курирование повестки дня и технический перевод.** Вы сформулируете проблему выравнивания таким образом, чтобы исследователи из других дисциплин могли с ней работать, разъясняя определения, предположения, модели угроз и критерии успеха, а также их влияние на создаваемые сегодня системы ИИ.

**Вовлечение сети.** Вы будете созывать потенциальных участников, публиковать дорожную карту или запрос предложений, где это уместно, и поддерживать исследователей в разработке их предложений, заранее согласовывая с ними технический объем работы и то, как мы будем ее оценивать.

## Что вы создадите

За четыре месяца мы ожидаем получения некоторого подмножества из следующего, определенного с нами в начале:

- **Карта пробелов:** Широкий обзор проблемной области и того, что не делается. - **Розеттский камень:** Описывает методологии, предположения, области применения, текущие ограничения и будущие траектории. - **Обзор литературы:** Контекстуализация широких открытых вопросов в массиве литературы. - **Карта фронтира:** Следующий набор статей (например, следующие 12 статей, которые должны быть подготовлены). - **Эскиз реализации:** Как должна выглядеть конечная технология и как все части сочетаются друг с другом (т. е. эскиз обоснования безопасности).

Плюс

Мы также ожидаем, что вы проведете мероприятие, самостоятельно или с нашей помощью, и составите список людей и групп, достойных финансирования, вместе с вашей оценкой каждого.

## Если контракт пройдет успешно: Технический директор

В качестве Технического директора вы будете руководить собственной внутренней исследовательской командой в составе исследовательского отдела PrincInt и продолжать взаимодействовать с исследовательскими группами, инкубированными в рамках программы. Помимо этого, роль также включает:

- Надзор за исследовательской программой и поддержание актуальности общей дорожной карты - Поиск исследователей, которые могут добиться прогресса, и помощь им в формировании их предложений - Рассмотрение предложений и консультирование по вопросам распределения блочного финансирования программы - Проведение мероприятий программы, от ежеквартальных семинаров до ежегодного ретрита по определению повестки дня - Перевод между исходными дисциплинами и исследованиями в области AI safety - Отслеживание прогресса в достижении технических этапов - Представление программы спонсорам и последующим заинтересованным сторонам

Этот контракт на сканирование горизонтов служит испытанием для роли Технического директора, полной основной должности.

## Требования

Мы больше всего ценим вашу способность построить реальную карту проблемной области, а затем заставить нужных людей ею заинтересоваться. Мы ожидаем, что сильные кандидаты будут обладать многими из следующих качеств:

- Люди, имеющие четкое мнение по поводу AI Safety (опыт и публикации в этой области). - Связи за пределами основной сферы AI. - Высокая академическая квалификация (знает литературу, следит за новыми статьями и может составить карту того, кто разрабатывает методы, кто их применяет и как связаны исследовательские группы). - Восторженно относятся к проведению мероприятий и установлению связей. - Способны видеть дальше собственной исследовательской программы, иметь представление и мнение о всей области. - Имеют опыт исследований уровня PhD (может быть вне академической среды).

## Преимущества и компенсация

Компенсация за ~четырехмесячный контракт составляет 25 000–38 000 долларов США, в зависимости от предыдущего опыта и местоположения, плюс командировочные расходы. Мы покрываем транспортные расходы и проживание для мероприятий сверх этого, и можем оказать содействие в получении краткосрочных виз, где это необходимо.

**Гибкий график работы:** Гибкий график работы с акцентом на результаты и надежную координацию с коллегами.

**Высокая степень ответственности и автономии:** Среда с высоким уровнем доверия, где вы будете нести полную ответственность за свою работу, с ощутимой ответственностью и возможностями для улучшения систем.

**Встречи команды:** Мы собираемся лично 2-4 раза в год для сосредоточенной работы, отличных бесед и получения того импульса, который возникает только тогда, когда вся команда находится в одном помещении.

**При переходе на должность Технического директора:** 4 недели коллективного отпуска в год плюс дополнительное личное время отдыха, и остальные льготы нашей основной команды.

## Процесс подачи заявок

Форма заявки занимает 45–60 минут.

**Заявка.** Мы рассматриваем заявки на постоянной основе до 5 ноября 2026 года.

**Собеседование.** Успешные кандидаты приглашаются на удаленное собеседование.

**Рабочее испытание.** Платное однодневное удаленное рабочее испытание: спланированный фрагмент реальной работы по анализу в вашей области, плюс время с командой.

**Предложение.**

**Рекомендации:** Мы запросим две или три рекомендации в форме, и сообщим вам перед тем, как связаться с ними. Хорошие рекомендации могут заметно усилить вашу заявку.

## Кто вовлечен?

PrincInt был основан как PIBBSS в 2021 году Норой Амманн, Тушитой Джа (TJ) и Анной Гайдовой как исследовательская инициатива, направленная на привлечение идей и талантов из областей, изучающих интеллектуальное поведение в естественных системах, для прогресса в решении вопросов, связанных с рисками и безопасностью ИИ. С тех пор мы привлекли более 5,5 млн долларов США, поддержали ~70 исследователей для трехмесячной полной стипендии PIBBSS, впервые проведенной в 2022 году, и организовали более 20 научно-исследовательских мероприятий/семинаров по AI safety. За эти годы мы построили существенное исследовательское сообщество, охватывающее многие дисциплины, как в академических кругах, так и в промышленности, как внутри, так и за пределами AI safety.

Лукас Тейшейра (Исполнительный директор, Исследования) Лукас руководит исследовательской стратегией PrincInt с 2023 года. Они управляли исследовательским сотрудничеством, которое выросло в PIRAMID, запустили PIAMI, а теперь выступают в качестве менеджера исследований и партнера по всем исследовательским направлениям PrincInt, опираясь на историю и философию науки для поддержки плюралистических и непарадигматических исследовательских практик. До прихода в PrincInt они работали в Conjecture, сначала как прикладной эпистемолог, где помогали со-руководить Refine, а затем как инженер-исследователь в рамках повестки дня когнитивной эмуляции. Они изучали философию, антропологию, информатику и политологию, прежде чем посвятить себя проблеме выравнивания.

Лорен Гринспан (Технический директор) Лорен привносит разнообразную перспективу в исследования AI safety благодаря своему опыту в физике, машинном обучении, науке, технологиях и обществе (STS). Ее особенно интересуют физические подходы к интерпретируемости, эволюция научных