AI Safety Argumentation Platform Research Engineer

Аргумент о том, что ИИ общего назначения (AGI) и сверхинтеллект (ASI) представляют катастрофические риски, силён, но плохо систематизирован: он раздроблен по различным областям знаний, непоследовательно формализован и уязвим для предвзятого отторжения. CARMA создаёт инфраструктуру доказательств для исправления этой ситуации. Она объединяет онтологии, графы знаний, фреймворки нестрогой аргументации и конвейеры наполнения данных с помощью LLM под кураторством экспертов, подавая структурированный контент аргументации в информационные потоки, которые достигают политиков, технической аудитории, журналистов и общественности.

В этой роли вы будете разрабатывать и эксплуатировать эту систему. Вы будете работать на стыке теории аргументации и инструментария агентного ИИ, создавая механизмы, которые одновременно формально управляемы и убедительны на практике, — эпистемический каркас, который поможет заинтересованным сторонам выяснить, почему хорошие аргументы относительно будущих ожиданий являются хорошими, а плохие — плохими.

Эта позиция предполагает 100% удалённую работу, но требует редких командировок.

О CARMA

Центр по управлению рисками и выравниванию ИИ (CARMA) работает над тем, чтобы помочь обществу справиться со сложными и потенциально катастрофическими рисками, возникающими в результате развития всё более мощных систем ИИ. Наша миссия — конкретно снизить риски для человечества и биосферы от трансформационного ИИ.

Мы фокусируемся на обосновании управления рисками ИИ на основе строгого анализа, разработке политических рамок, которые напрямую затрагивают AGI, продвижении подходов к технической безопасности и формировании глобальных перспектив долгосрочной безопасности. Используя эти взаимодополняющие подходы, CARMA стремится предоставить обществу критически важную поддержку для управления непропорциональными рисками от передового ИИ до их материализации.

CARMA является проектом, финансово поддерживаемым Social & Environmental Entrepreneurs, Inc., некоммерческой корпорацией общественного блага 501(c)(3).

Обязанности

• Расширение онтологий и схем графов знаний, представляющих утверждения, доказательства, структуры аргументов, опровержения и уровень уверенности
• Реализация фреймворков нестрогой аргументации (например, ASPIC+, Dung-style, схемы аргументации), которые отражают как логическую структуру, так и уязвимость к опровержению
• Эксплуатация и контроль качества конвейеров наполнения данных на основе LLM с использованием каркасов перекрёстной проверки, отслеживания происхождения и кураторства с участием человека
• Архитектура паттернов координации агентов для многоэтапных исследований и задач по наполнению данных с надёжной обработкой ошибок и плавным отказом
• Предварительная подготовка структур аргументов путём картирования наиболее сильных контраргументов, «стального» представления возражений и известных опровержений
• Создание экспортных конвейеров, которые преобразуют структурированную аргументацию в разнообразные коммуникационные форматы для различных аудиторий и регистров
• Поддержание текущей осведомлённости в области безопасности ИИ, его возможностей и управления, достаточной для понимания того, когда новые разработки требуют обновления графа, и где искать авторитетные дополнительные сведения
• Сотрудничество с сотрудниками отдела коммуникаций и исследователями для обеспечения соответствия результатов реальным потребностям в убеждении

Требуемые квалификации

• Рабочее знакомство с формальной или полуформальной теорией аргументации (абстрактная или структурированная аргументация, нестрогое рассуждение, диалектические модели или схемы аргументации)
• Опыт в инженерии онтологий или разработке графов знаний (OWL/RDF, графы свойств или эквивалент)
• Операционный опыт работы с системами агентного ИИ: платформы координации агентов, масштабируемый промпт-инжиниринг и режимы контроля качества вывода LLM (враждебное зондирование, проверка согласованности, калибровка)
• Практика «вибекодинга»: быстрое прототипирование и выпуск кода с использованием LLM-ассистированной разработки в производственно-ориентированных контекстах
• Субстантивное понимание безопасности ИИ, управления ИИ и текущей динамики передовых ИИ, с грамотностью для поиска авторитетных источников по любой подтеме или человеческой экспертизе в этой области
• Знакомство с концепциями философии науки, касающимися доказательств: опровержения, бремя доказательства, вывод к наилучшему объяснению, недоопределённость
• Хорошие навыки программирования; комфорт с графовыми базами данных или языками запросов
• Опыт проектирования каркасов перекрёстной проверки и верификации для ненадежных автоматизированных процессов
• Здравый смысл относительно того, когда утверждение хорошо обосновано, когда оно нуждается в оговорках, дальнейшем подтверждении или отзыве
• Самостоятельность; сильные навыки письменного общения

Предпочтительные квалификации

• Обучение в аспирантуре или эквивалентная глубина знаний в теории аргументации, вычислительной аргументации, эпистемологии или философии науки
• Знакомство с AIF, Carneades или сопоставимыми инструментами вычислительной аргументации
• Опыт работы в области безопасности или управления ИИ (публикации, политическая работа или существенный вклад в сообщество)
• Опыт в извлечении аргументов, извлечении утверждений или обнаружении позиций
• Опыт работы с форматами дебатов или методами структурированной дискуссии
• Понимание мотивированного рассуждения, изменения убеждений и когнитивных искажений, поскольку они влияют на коммуникационную стратегию
• Вклад в проекты с открытым исходным кодом в любой релевантной области

CARMA/SEE с гордостью является работодателем, предоставляющим равные возможности. Мы не дискриминируем по признаку расы, этнической принадлежности, пола, возраста, религии, смены пола, статуса партнёрства, материнства или сексуальной ориентации. По политике и действиям мы являемся инклюзивной организацией и активно продвигаем равные возможности для всех людей с нужным сочетанием таланта, знаний, навыков, отношения и потенциала, поэтому найм основан только на индивидуальных заслугах для работы. Наша организация действует через финансового спонсора, чья инфраструктура поддерживает только лиц, уполномоченных работать в США в качестве сотрудников. Кандидаты из-за пределов США будут привлекаться в качестве независимых подрядчиков с проектно-ориентированными обязанностями. Обратите внимание, что в настоящее время мы не можем спонсировать визы.

$160 000 - $210 000 в год