Research Engineer / Research Scientist, RL Frontiers

Компенсация (годовой оклад): 500 000 – 850 000 USD в год

О Anthropic Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ.

О роли Обучение с подкреплением — это то, как Claude учится рассуждать, писать код и действовать автономно на больших временных горизонтах. Команда RL Scaling работает над масштабированием RL: что происходит с пропускной способностью, стабильностью и эффективностью обучения, когда модели становятся больше, эпизоды длиннее, а вычислительные мощности растут на порядки, и что нужно изменить в наших алгоритмах и системах, чтобы продолжать получать отдачу от этого масштаба.

Эта роль находится на стыке исследований и инженерии. Вы будете разрабатывать архитектуры и алгоритмы RL нового поколения, переводить их из результатов малого масштаба в передовые масштабные прогоны и понимать, где именно они ведут себя по-разному. Вы будете создавать системы, определяющие, насколько быстро команда может итерировать: сколько экспериментов, в каком масштабе и как быстро мы можем доверять результатам. И вы будете работать над самыми большими и быстрыми прогонами RL Anthropic, где разрыв между хорошей идеей и работающей часто является проблемой, которую никто еще не решил.

Ключевые обязанности

• Исследовать, как обучение и выборка RL масштабируются с размером модели, длиной контекста и вычислительными мощностями, и находить алгоритмические и системные изменения, которые сохраняют эффективность масштабирования
• Разрабатывать архитектуры моделей и алгоритмы RL нового поколения и эффективно запускать их в передовом масштабе
• Переводить перспективные результаты малого масштаба в передовые масштабные прогоны и диагностировать, почему они ведут себя по-разному, когда достигают этого масштаба, будь то численная, алгоритмическая или системная причина
• Создавать экспериментальную инфраструктуру, определяющую скорость исследований: быстрые, воспроизводимые сравнения вариантов архитектуры и алгоритмов в значимом масштабе
• Обеспечивать сквозную производительность наших крупнейших прогонов RL, от исследовательского кода до оборудования
• Создавать модели производительности и затрат для предлагаемых изменений архитектуры и алгоритмов и использовать их для принятия решений о том, какие идеи масштабировать
• Исследовать динамику обучения в масштабе, включая нестабильности, расходимость и регрессию пропускной способности, и определять их первопричины

Минимальные требования

• Глубокое знакомство с современными трансформерными языковыми моделями, включая их архитектуру, динамику обучения и поведение крупномасштабной оптимизации
• Практический опыт обучения больших моделей в распределенной среде, включая компромиссы между параллелизмом данных, тензорным параллелизмом и параллелизмом конвейера
• Опыт оригинальных технических работ в области обучения или систем машинного обучения, таких как новые методы, архитектуры или оптимизации, подтвержденный исследованиями, открытым исходным кодом или производственным влиянием
• Способность проектировать строгие эксперименты в масштабе, включая базовые линии, абляции и достаточную статистическую точность, чтобы доверять результату, требующему реальных вычислительных ресурсов
• Способность количественно оценивать затраты на вычисления, память и коммуникации модели или алгоритма
• Сильные навыки программирования на Python и JAX или PyTorch, а также комфортное чтение и изменение кода на каждом уровне стека

Предпочтительные квалификации

• Опыт исследований в области обучения с подкреплением, оптимизации или крупномасштабного обучения, опубликованный или иной
• Опыт разработки алгоритмов RL для языковых моделей
• Опыт работы с законами масштабирования или другими количественными моделями эффективности обучения
• Опыт проектирования или модификации трансформерных архитектур, выходящих за рамки стандартных конфигураций
• Опыт масштабирования обучения до больших флотов ускорителей и отладки проблем, которые проявляются только в масштабе
• Глубокое понимание численных методов в крупномасштабном обучении, включая форматы с низкой точностью и источники нестабильности
• Знакомство с тем, как характеристики производительности GPU или TPU влияют на выбор архитектуры и алгоритма
• Опыт работы с C++ или Rust

Представительные проекты

• Охарактеризовать, как пропускная способность и эффективность обучения нового алгоритма RL изменяются от малых моделей до передового масштаба, и исправить, что ломается
• Разработать новый вариант внимания, запустить его в полном масштабе и измерить, как его качество и пропускная способность сравниваются с базовой линией
• Подготовить наш следующий крупнейший в истории прогон RL: найти, что ломается, когда одновременно увеличиваются размер модели, длина контекста и вычислительные мощности, и исправить это до запуска
• Проследить нестабильность потерь, которая появляется только после определенного масштаба, до ее первопричины и выяснить, относится ли исправление к алгоритму, численным методам или системе
• Построить модель, прогнозирующую пропускную способность и стоимость предлагаемого изменения архитектуры до того, как кто-либо напишет ядро

Годовой диапазон компенсации для этой роли указан ниже. Для ролей в продажах предоставленный диапазон — это диапазон целевого заработка ("OTE") для роли, что означает, что диапазон включает как целевые комиссионные/бонусы по продажам, так и годовой базовый оклад для роли.

Годовой оклад: $500 000 — $850 000 USD

Логистика Минимальное образование: Степень бакалавра или эквивалентная комбинация образования, обучения и/или опыта Требуемая область обучения: Область, относящаяся к роли, подтвержденная курсовой работой, обучением или профессиональным опытом Минимальное количество лет опыта: Требуемое количество лет опыта будет коррелировать с требованиями внутреннего уровня должности для данной позиции Гибридная политика на основе местоположения: В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать больше времени в наших офисах. Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не можем успешно оказывать визовую поддержку для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия для получения визы, и у нас есть иммиграционный юрист, который поможет с этим.

Мы призываем вас подавать заявку, даже если вы не считаете, что соответствуете всем требованиям. Не все сильные кандидаты будут соответствовать всем перечисленным требованиям. Исследования показывают, что люди, идентифицирующие себя как принадлежащие к недопредставленным группам, более склонны испытывать синдром самозванца и сомневаться в силе своей кандидатуры, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вы заинтересованы в этой работе. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать в нашу команду разнообразные точки зрения.

Ваша безопасность имеет для нас значение. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Законные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого дня. Если вы когда-либо сомневаетесь в общении, не переходите по ссылкам — посетите anthropic.com/careers напрямую, чтобы узнать о подтвержденных вакансиях.

Чем мы отличаемся Мы считаем, что наиболее влиятельные исследования ИИ будут масштабными научными проектами. В Anthropic мы работаем как единая слаженная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, заслуживающего доверия ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными компьютерными науками. Мы чрезвычайно совместная группа, и мы проводим частые исследовательские дискуссии, чтобы гарантировать, что мы проводим наиболее влиятельную работу в любой момент времени. Таким образом, мы очень ценим коммуникативные навыки.

Проще всего понять наши исследовательские направления, прочитав наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, в том числе: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам! Anthropic — это корпорация, действующая в общественных интересах, со штаб-квартирой в Сан-Франциско. Мы предлагаем конкурентоспособную компенсацию и льготы, опциональное соответствие пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.