Аргументы о том, что ИИ общего назначения (AGI) и сверхразум (ASI) представляют катастрофические риски, сильны, но плохо систематизированы: фрагментированы между различными областями знаний, непоследовательно формализованы и уязвимы для предвзятого отказа. CARMA создает инфраструктуру доказательств для решения этой проблемы. Она объединяет онтологии, графы знаний, фреймворки гибких аргументов и конвейеры заполнения данных с помощью LLM под кураторством экспертов, подавая структурированное содержание аргументов в информационные потоки, которые достигают политиков, технических специалистов, журналистов и общественности.

В этой роли вы будете разрабатывать и эксплуатировать эту систему. Вы будете работать на стыке теории аргументации и инструментария агентского ИИ, создавая механизмы, которые одновременно формально обрабатываемы и убедительны на практике, — эпистемический каркас, который поможет заинтересованным сторонам прояснить, почему хорошие аргументы для будущих ожиданий являются хорошими, а плохие — плохими.

Эта позиция полностью удаленная, но требует периодических поездок.

О CARMA

Центр по управлению рисками и согласованию ИИ (CARMA) работает над тем, чтобы помочь обществу справиться со сложными и потенциально катастрофическими рисками, возникающими в результате все более мощных систем ИИ. Наша миссия — конкретно снизить риски для человечества и биосферы от трансформационного ИИ.

Мы фокусируемся на обосновании управления рисками ИИ на основе строгого анализа, разработке политических рамок, которые непосредственно касаются AGI, продвижении подходов к технической безопасности и формировании глобальных перспектив устойчивой безопасности. С помощью этих взаимодополняющих подходов CARMA стремится оказать критическую поддержку обществу в управлении непропорциональными рисками от передового ИИ до их материализации.

CARMA является проектом, финансируемым через фискального спонсора Social & Environmental Entrepreneurs, Inc., некоммерческую корпорацию общественного блага, зарегистрированную по разделу 501(c)(3).

Обязанности

• Расширять онтологии и схемы графов знаний, представляющие утверждения, доказательства, структуры аргументов, опровержения и степень уверенности.
• Реализовывать фреймворки гибких аргументов (например, ASPIC+, стиль Dung, схемы аргументации), которые отражают как логическую структуру, так и уязвимость к опровержению.
• Эксплуатировать и контролировать качество конвейеров заполнения данных на основе LLM с помощью каркасов перекрестной проверки, отслеживания происхождения и кураторства с участием человека.
• Разрабатывать паттерны координации агентов для многоэтапных задач исследования и заполнения данных с надежной обработкой ошибок и плавным снижением производительности.
• Предварительно укреплять структуры аргументов, сопоставляя наиболее сильные контраргументы, возражения, представленные в наилучшем свете, и известные опровержения.
• Создавать конвейеры экспорта, которые переводят структурированную аргументацию в разнообразные форматы коммуникации для различных аудиторий и регистров.
• Поддерживать актуальные знания в области безопасности ИИ, возможностей и управления, достаточные для понимания того, когда новые разработки требуют обновления графа, и где искать авторитетные дополнительные детали.
• Сотрудничать с сотрудниками отдела коммуникаций и исследователями, чтобы обеспечить соответствие результатов реальным потребностям в убеждении.

Требуемые квалификации

• Рабочее знакомство с формальной или полуформальной теорией аргументации (абстрактная или структурированная аргументация, гибкое рассуждение, диалектические модели или схемы аргументации).
• Опыт в области инженерии онтологий или разработки графов знаний (OWL/RDF, графы свойств или эквивалент).
• Операционный опыт работы с системами LLM-агентов: платформы координации агентов, создание промптов в масштабе и режимы контроля качества вывода LLM (состязательное тестирование, проверки согласованности, калибровка).
• Свободное владение практикой "vibecoding": быстрое прототипирование и выпуск кода с использованием LLM-ассистированной разработки в производственно-близких контекстах.
• Субстантивная база в области безопасности ИИ, управления ИИ и текущей динамики передовых ИИ, с грамотностью для поиска авторитетных источников по любой подтеме или человеческому опыту в этой области.
• Знакомство с концепциями философии науки, касающимися доказательств: опровержения, бремя доказывания, вывод к наилучшему объяснению, недоопределенность.
• Хорошие навыки программирования; уверенное владение графовыми базами данных или языками запросов.
• Опыт проектирования каркасов перекрестной проверки и верификации для ненадежных автоматизированных процессов.
• Здравый смысл в отношении того, когда утверждение хорошо обосновано, а когда оно нуждается в оговорках, дальнейших подтверждениях или снятии.
• Самостоятельность; сильные навыки письменного общения.

Предпочтительные квалификации

• Работа в аспирантуре или эквивалентная глубина знаний в области теории аргументации, вычислительной аргументации, эпистемологии или философии науки.
• Знакомство с AIF, Carneades или сопоставимыми инструментами вычислительной аргументации.
• Опыт работы в области безопасности или управления ИИ (публикации, политическая работа или существенные вклад в сообщество).
• Опыт в области интеллектуального анализа аргументов, извлечения утверждений или обнаружения позиций.
• Опыт участия в дебатах или методах структурированной дискуссии.
• Понимание мотивированного рассуждения, изменения убеждений и когнитивных искажений, влияющих на стратегию коммуникации.
• Вклад в проекты с открытым исходным кодом в любой релевантной области.

CARMA/SEE с гордостью является работодателем, предоставляющим равные возможности. Мы не допускаем дискриминации по признаку расы, этнической принадлежности, пола, возраста, религии, смены гендерной идентичности, статуса партнера, материнства или сексуальной ориентации. По политике и действиям мы являемся инклюзивной организацией и активно продвигаем равные возможности для всех людей с нужным сочетанием таланта, знаний, навыков, отношения и потенциала, поэтому найм осуществляется только на основе индивидуальных заслуг для данной должности. Наша организация действует через фискального спонсора, инфраструктура которого поддерживает только лиц, уполномоченных работать в США в качестве сотрудников. Кандидаты за пределами США будут привлекаться в качестве независимых подрядчиков с обязанностями, ориентированными на проект. Обратите внимание, что в настоящее время мы не можем спонсировать визы.

$160 000 - $210 000 в год