AI Safety Argumentation Platform Research Engineer

Аргументы о том, что ИСИ и ИСИ представляют катастрофические риски, сильны, но плохо систематизированы: фрагментированы по литературам, непоследовательно формализованы и уязвимы для предвзятого отказа. CARMA создает доказательную инфраструктуру для решения этой проблемы. Она объединяет онтологии, графы знаний, фреймворки оспариваемых аргументов и конвейеры заполнения данных с помощью LLM под кураторством экспертов, подавая структурированный аргументационный контент в коммуникационные потоки, которые достигают политиков, технических специалистов, журналистов и общественности.

В этой роли вы будете разрабатывать и эксплуатировать эту систему. Вы будете работать на стыке теории аргументации и инструментов агентного ИИ, создавая механизмы, которые являются как формально управляемыми, так и практически убедительными, эпистемический каркас, который поможет заинтересованным сторонам выяснить, почему хорошие аргументы для будущих ожиданий являются хорошими, а плохие — плохими.

Эта позиция на 100% удаленная, но требует редких поездок.

О CARMA

Центр по управлению рисками и согласованию ИИ (CARMA) работает над тем, чтобы помочь обществу ориентироваться в сложных и потенциально катастрофических рисках, возникающих в результате все более мощных систем ИИ. Наша миссия — конкретно снизить риски для человечества и биосферы от трансформационного ИИ.

Мы фокусируемся на обосновании управления рисками ИИ на основе строгого анализа, разработке политических рамок, которые напрямую касаются ИСИ, продвижении подходов к технической безопасности и формировании глобальных перспектив долгосрочной безопасности. С помощью этих взаимодополняющих подходов CARMA стремится оказывать критическую поддержку обществу в управлении непропорциональными рисками от передового ИИ до их материализации.

CARMA является фискально спонсируемым проектом Social & Environmental Entrepreneurs, Inc., некоммерческой корпорацией общественного блага 501(c)(3).

Обязанности

• Расширять онтологии и схемы графов знаний, представляющие утверждения, доказательства, структуры аргументов, опровержения и уровень уверенности
• Реализовывать фреймворки оспариваемых аргументов (например, ASPIC+, стиль Dung, схемы аргументации), которые отражают как логическую структуру, так и уязвимость к опровержению
• Эксплуатировать и контролировать качество конвейеров заполнения данных на основе LLM с помощью структур перекрестной проверки, отслеживания происхождения и кураторства с участием человека
• Архитектурно проектировать шаблоны координации агентов для многоэтапных задач исследования и заполнения данных с надежной обработкой ошибок и плавным отказом
• Предварительно укреплять структуры аргументов, отображая наиболее сильные контраргументы, возражения «steel-manned» и известные опровержения
• Создавать экспортные конвейеры, которые переводят структурированную аргументацию в разнообразные форматы коммуникации для различных аудиторий и регистров
• Поддерживать текущую осведомленность в области безопасности ИИ, его возможностей и управления, достаточную для понимания того, когда новые разработки требуют обновления графа, и где искать авторитетные дополнительные детали
• Сотрудничать с сотрудниками по коммуникациям и исследователями, чтобы результаты соответствовали реальным потребностям в убедительности

Требуемая квалификация

• Рабочее знакомство с формальной или полуформальной теорией аргументации (абстрактная или структурированная аргументация, оспариваемое рассуждение, диалектические модели или схемы аргументации)
• Опыт инженерии онтологий или разработки графов знаний (OWL/RDF, графы свойств или эквивалент)
• Опыт эксплуатации систем LLM-агентов: платформы координации агентов, инженерия запросов в масштабе и режимы контроля качества выходных данных LLM (состязательное зондирование, проверки согласованности, калибровка)
• Практика «vibecoding»: быстрое прототипирование и выпуск с использованием LLM-ассистированной разработки в производственно-близких контекстах
• Субстанциональное понимание безопасности ИИ, управления ИИ и текущей динамики передовых ИИ, с грамотностью для поиска авторитетных источников по любой подтеме или человеческой экспертизе в этой области
• Знакомство с концепциями философии науки, касающимися доказательств: опровержения, бремя доказательства, вывод к лучшему объяснению, недоопределенность
• Хорошие навыки программирования; уверенное владение графовыми базами данных или языками запросов
• Опыт проектирования структур перекрестной проверки и верификации для ненадежных автоматизированных процессов
• Здравый смысл относительно того, когда утверждение хорошо обосновано, а когда оно требует оговорок, дальнейшего подтверждения или отказа
• Самостоятельность; сильные навыки письменной коммуникации

Предпочтительная квалификация

• Аспирантура или эквивалентная глубина в теории аргументации, вычислительной аргументации, эпистемологии или философии науки
• Знакомство с AIF, Carneades или сопоставимыми инструментами вычислительной аргументации
• Опыт работы в области безопасности ИИ или управления ИИ (публикации, политическая работа или значительный вклад в сообщество)
• Опыт в области извлечения аргументов (argument mining), извлечения утверждений или определения позиции (stance detection)
• Опыт работы с форматами дебатов или методами структурированной дискуссии
• Понимание мотивированных рассуждений, изменения убеждений и когнитивных искажений, касающихся стратегии коммуникации
• Вклад в разработку открытого программного обеспечения в любой релевантной области

CARMA/SEE с гордостью является работодателем, предоставляющим равные возможности. Мы не дискриминируем по признаку расы, этнической принадлежности, пола, возраста, религии, смены пола, статуса партнерства, материнства или сексуальной ориентации. По политике и действиям мы являемся инклюзивной организацией и активно продвигаем равные возможности для всех людей с нужным сочетанием талантов, знаний, навыков, отношения и потенциала, поэтому наем осуществляется только на основе индивидуальных заслуг для данной работы. Наша организация действует через фискального спонсора, инфраструктура которого поддерживает только лиц, уполномоченных работать в США в качестве сотрудников. Кандидаты за пределами США будут привлекаться в качестве независимых подрядчиков с проектно-ориентированными обязанностями. Обратите внимание, что в настоящее время мы не можем спонсировать визы.

$160,000 - $210,000 в год