Research Engineer, Interpretability

Компенсация (годовой оклад): 315 000 – 560 000 долларов США в год

О Anthropic Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ.

О роли: Видя, на что способны современные языковые модели, не задаетесь ли вы вопросом: «Как все это работает? Можно ли им доверять?»

Команда Interpretability в Anthropic занимается обратным инжинирингом обученных моделей, потому что мы считаем, что механистическое понимание — самый надежный способ обеспечить безопасность передовых систем.

Представьте, что мы занимаемся «нейробиологией» нейронных сетей, используя построенные нами «микроскопы», или проводим обратный инжиниринг нейронных сетей, как бинарных программ.

Дополнительные ресурсы для изучения нашей работы: Наш исследовательский блог — охватывающий достижения, включая Monosemantic Features и Circuits Введение в интерпретируемость от нашего руководителя исследований Криса Ола Неотложность интерпретируемости от генерального директора Дарио Амодея Инженерные вызовы масштабирования интерпретируемости — напрямую связаны с этой ролью Передача 60 Minutes — примерно с 8:07 минуты смотрите демонстрацию инструментов, созданных нашей командой Статья в New Yorker — о работе над одной из самых сложных открытых проблем в области ИИ.

Даже если вы раньше не работали над интерпретируемостью, экспертиза в области инфраструктуры схожа с той, что требуется на протяжении всего жизненного цикла производственной языковой модели:

Предобучение: Обучение моделей словарного обучения очень похоже на предобучение моделей — создание стабильных, высокопроизводительных заданий обучения для моделей с массивными параметрами на тысячах чипов.

Вывод: Interp использует пользовательский стек вывода. Ежедневный анализ требует служб, позволяющих редактировать внутренние активации модели во время прямого прохода — например, добавляя «вектор управления».

Производительность: Как и вся работа с LLM, мы упираемся в пределы аппаратного и программного обеспечения. Вместо того чтобы выжимать последние 0,1%, мы сосредоточены на поиске узких мест, их устранении и продвижении вперед, учитывая быстро развивающиеся исследования и миссию безопасности.

Наука продолжает масштабироваться — и теперь она применяется непосредственно в аудитах безопасности передовых моделей с реальными сроками. Поскольку наши исследования созрели, инженерия и инфраструктура стали узким местом. Ваша работа окажет прямое влияние на одну из самых важных открытых проблем в области ИИ.

Обязанности:

• Создание и поддержка специализированной инфраструктуры вывода и обучения, которая обеспечивает исследования в области интерпретируемости — включая инструментированные прямые/обратные проходы, извлечение активаций и применение векторов управления.
• Устранение узких мест в масштабировании и эффективности путем профилирования, оптимизации и тесного сотрудничества с другими инфраструктурными командами.
• Разработка инструментов, абстракций и платформ, позволяющих исследователям быстро экспериментировать, не сталкиваясь с инженерными барьерами.
• Помощь во внедрении исследований в области интерпретируемости в аудиты безопасности на производстве — с реальными сроками и высокими ожиданиями надежности.
• Работа на всех уровнях стека — от внутренних механизмов модели и оптимизации на уровне ускорителя до инструментов для исследований, ориентированных на пользователя.

Вы можете подойти, если:

• Имеете 5-10+ лет опыта разработки программного обеспечения.
• Высоко владеете как минимум одним языком программирования (например, Python, Rust, Go, Java) и продуктивно используете Python.
• Чрезвычайно любопытны к незнакомым областям; можете быстро учиться и применять эти знания на практике, например, погружаясь в новые уровни стека для поиска узких мест.
• Обладаете сильной способностью расставлять приоритеты для наиболее значимой работы и комфортно чувствуете себя в условиях неопределенности и подвергая сомнению предположения.
• Предпочитаете быстро меняющиеся совместные проекты длительным индивидуальным усилиям.
• Любопытны к исследованиям в области интерпретируемости и их роли в безопасности ИИ (хотя опыт исследований не требуется!).
• Заботитесь об общественных последствиях и этике вашей работы.
• Комфортно работаете в тесном сотрудничестве с исследователями, переводя потребности исследований в инженерные решения.

Сильные кандидаты также могут иметь опыт работы с:

• Оптимизация производительности крупномасштабных распределенных систем.
• Основы языкового моделирования с использованием трансформеров.
• Высокопроизводительная оптимизация LLM: управление памятью, эффективность вычислений, стратегии параллелизма, оптимизация пропускной способности вывода.
• Практический опыт работы с основной ML-платформой — PyTorch/CUDA на GPU или JAX/XLA на TPU.
• Тесное сотрудничество с исследователями и создание инструментов для поддержки исследовательских команд; или непосредственное проведение исследований со сложными инженерными задачами.

Типичные проекты:

• Создание Garcon — инструмента, позволяющего исследователям легко инструментировать LLM для извлечения внутренних активаций.
• Проектирование и оптимизация конвейера для эффективного сбора петабайт активаций трансформеров и их перемешивания.
• Профилирование и оптимизация заданий обучения ML, включая многопроцессорный параллелизм и оптимизацию памяти.
• Создание управляемой системы вывода, которая применяет целенаправленные вмешательства к внутренним механизмам модели в масштабе (концептуально похожа на Golden Gate Claude, но для исследований безопасности).

Политика местоположения для данной должности: Эта должность предполагает работу в офисе в Сан-Франциско; однако мы готовы рассмотреть исключительных кандидатов на удаленную работу на индивидуальной основе.

Годовой диапазон вознаграждения для данной должности указан ниже. Для должностей, связанных с продажами, указанный диапазон является диапазоном целевого заработка («OTE»), что означает, что диапазон включает как целевые комиссионные/бонусы по продажам, так и годовой базовый оклад для данной должности.

Годовой оклад: 315 000 – 560 000 долларов США

Логистика Минимальное образование: Степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта. Требуемая область обучения: Область, имеющая отношение к должности, подтвержденная курсовой работой, обучением или профессиональным опытом. Минимальный опыт работы: Требуемый опыт работы будет коррелировать с требованиями к внутреннему уровню должности.

Гибридная политика по месту жительства: В настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые должности могут требовать больше времени в наших офисах.

Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не всегда можем успешно обеспечить визовую поддержку для каждой должности и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия для получения визы, и для этого у нас есть иммиграционный юрист.

Мы призываем вас подать заявку, даже если вы не соответствуете всем указанным требованиям. Не все сильные кандидаты соответствуют всем указанным требованиям. Исследования показывают, что люди, идентифицирующие себя как представители недопредставленных групп, чаще испытывают синдром самозванца и сомневаются в силе своей кандидатуры, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность имеет для нас значение. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо будете сомневаться в коммуникации, не нажимайте на ссылки — посетите anthropic.com/careers напрямую, чтобы узнать об открытых вакансиях.

Чем мы отличаемся Мы верим, что самые влиятельные исследования в области ИИ будут являться «большой наукой». В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования в области ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько с традиционными компьютерными науками. Мы чрезвычайно совместная группа, и мы проводим частые исследовательские обсуждения, чтобы гарантировать, что мы занимаемся работой с наибольшим влиянием в любой момент времени. Таким образом, мы высоко ценим коммуникативные навыки.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety, и Learning from Human Preferences.

Присоединяйтесь к нам! Anthropic — это корпорация, приносящая общественную пользу, со штаб-квартирой в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, добровольное сопоставление пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для сотрудничества с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.