Staff + Sr. Software Engineer, Cloud Inference

Вознаграждение (Годовой оклад): 320 000 – 485 000 долларов США в год

О Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ.

О роли

Команда Cloud Inference масштабирует и оптимизирует Claude для обслуживания огромной аудитории разработчиков и корпоративных клиентов через AWS, GCP, Azure и будущих поставщиков облачных услуг (CSP). Мы отвечаем за сквозной продукт Claude на каждой облачной платформе: от интеграции API и интеллектуальной маршрутизации запросов до выполнения вывода, управления мощностями и повседневной эксплуатации.

Наши инженеры обладают чрезвычайно высоким уровнем воздействия: мы одновременно управляем несколькими основными источниками дохода, оптимизируя один из самых ценных ресурсов Anthropic: вычислительные мощности. По мере расширения на большее количество облачных платформ сложность эффективного управления выводом среди поставщиков с различными аппаратными средствами, сетевыми стеками и операционными моделями значительно возрастает. Нам нужны бэкенд-инженеры, ориентированные на продукт, которые могут ориентироваться в этих различиях платформ, разрабатывать сервисы и абстракции, работающие на разных платформах, и принимать архитектурные решения, которые обеспечивают нам надежность и экономичность в огромных масштабах.

Ваша работа увеличит масштаб, в котором работают наши сервисы, ускорит нашу способность надежно запускать новые передовые модели и инновационные функции для клиентов на всех платформах, а также гарантирует, что наши LLM соответствуют строгим стандартам безопасности, производительности и надежности.

Ключевые обязанности

• Разработка, создание и владение бэкенд-сервисами и инфраструктурой, которые обслуживают Claude на нескольких CSP, учитывая различия в вычислительном оборудовании, сетях, API и операционных моделях
• Кросс-функциональная работа с внутренними командами по выводу, API продуктов, системным и безопасностным командам, среди прочих, а также с партнерами CSP для создания полного стека обслуживания на новых облачных платформах, решения операционных проблем и влияния на дорожные карты поставщиков
• Создание и развитие систем автоматизации CI/CD, включая конвейеры валидации и развертывания, которые надежно доставляют новые версии моделей миллионам пользователей на облачные платформы без регрессий
• Разработка интерфейсов и абстракций инструментов между CSP, которые обеспечивают экономически эффективное управление выводом, масштабирование между поставщиками и снижение сложности для каждой платформы
• Участие в планировании мощностей, автоматическом масштабировании и стратегиях маршрутизации рабочей нагрузки, которые сопоставляют предложение со спросом и направляют запросы к наиболее экономически эффективному ускорителю и региону
• Анализ данных наблюдаемости по всем поставщикам для выявления узких мест производительности, аномалий затрат и регрессий, а также проведение корректирующих действий на основе реальных производственных рабочих нагрузок

Минимальные требования

• Значительный опыт разработки программного обеспечения с глубокими знаниями высокопроизводительных, крупномасштабных распределенных систем, обслуживающих миллионы пользователей
• Опыт создания или эксплуатации сервисов на как минимум одной основной облачной платформе (AWS, GCP или Azure) с опытом работы с Kubernetes, Infrastructure as Code или оркестрацией контейнеров
• Любопытство к обслуживанию LLM; предварительный опыт работы с выводом или ML не требуется
• Умение работать в условиях кросс-функционального сотрудничества как с внутренними командами, так и с внешними партнерами
• Опыт работы с внешними партнерами для согласования целей и достижения результатов
• Быстрая обучаемость, позволяющая быстро осваивать новые технологии, аппаратные платформы и экосистемы поставщиков
• Высокая степень самостоятельности и ответственность за решение проблем от начала до конца, включая работу, выходящую за рамки описания вашей должности

Предпочтительные квалификации

• Прямой опыт работы с CSP по масштабированию инфраструктуры или продуктов на нескольких платформах, включая различия в сетях, безопасности, конфиденциальности, биллинге и управляемых сервисах
• Практический опыт управления мощностями, оптимизации затрат или планирования ресурсов в масштабе в гетерогенных средах
• Глубокое понимание многорегиональных развертываний, географической маршрутизации и глобального управления трафиком
• Владение Python или Rust

Годовой диапазон вознаграждения для этой роли указан ниже.

Для ролей, связанных с продажами, указанный диапазон — это диапазон «On Target Earnings» («OTE»), что означает, что диапазон включает как целевые показатели комиссионных/бонусов по продажам, так и годовой базовый оклад для этой роли.

Годовой оклад: 320 000 — 485 000 долларов США

Логистика

Минимальное образование: степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта

Требуемая область обучения: Область, соответствующая роли, подтвержденная курсовой работой, обучением или профессиональным опытом

Минимальный стаж работы: Количество лет опыта, требуемое для позиции, будет соответствовать требованиям к внутреннему уровню должности

Политика гибридной работы на основе местоположения: В настоящее время мы ожидаем, что весь персонал будет находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать больше времени в наших офисах.

Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не всегда можем успешно предоставить визовую поддержку для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия для получения визы, и мы нанимаем иммиграционного юриста для помощи в этом.

Мы призываем вас подать заявку, даже если вы считаете, что не соответствуете всем требованиям. Не все сильные кандидаты будут соответствовать всем перечисленным требованиям. Исследования показывают, что люди, идентифицирующие себя как представители недопредставленных групп, более склонны испытывать синдром самозванца и сомневаться в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы строим, имеют огромные социальные и этические последствия. Мы считаем, что это делает представленность еще более важной, и мы стремимся включать разнообразные точки зрения в нашу команду.

Ваша безопасность важна для нас. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными кадровыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут просить деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо сомневаетесь в общении, не нажимайте на ссылки — посетите anthropic.com/careers напрямую, чтобы узнать о подтвержденных вакансиях.

Чем мы отличаемся

Мы считаем, что наиболее влиятельные исследования в области ИИ будут крупными научными проектами. В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над более мелкими и конкретными задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько с традиционными направлениями в информатике. Мы очень сплоченная группа, и мы проводим частые исследовательские дискуссии, чтобы гарантировать, что мы занимаемся самой влиятельной работой в любой данный момент. В связи с этим мы высоко ценим навыки общения.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — это общественная корпорация (public benefit corporation), расположенная в Сан-Франциско. Мы предлагаем конкурентоспособное вознаграждение и льготы, опциональное сопоставление пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.