Staff + Sr. Software Engineer, Cloud Inference Launch Engineering

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ. О роли Команда Cloud Inference масштабирует и оптимизирует Claude для обслуживания огромной аудитории разработчиков и корпоративных клиентов через AWS, GCP, Azure и будущих поставщиков облачных услуг (CSP). Мы отвечаем за комплексный продукт Claude на каждой облачной платформе, от интеграции API и интеллектуальной маршрутизации запросов до выполнения инференса, управления мощностями и повседневных операций. В рамках Cloud Inference команда запуска моделей и инференса отвечает за конвейер валидации нашего сервера инференса и балансировщика нагрузки на этих платформах. Мы несем ответственность за каждое изменение инференса — запуск моделей, повышение производительности, интеграцию средств защиты — которое попадает на облачные платформы с сохранением корректности, производительности и надежности. Это работа с высоким рычагом воздействия на инфраструктуру: валидация должна быть достаточно быстрой и дешевой, чтобы выполняться на тех же ускорителях, которые обслуживают клиентов, достаточно надежной, чтобы заменить ручные проверки, и достаточно последовательной, чтобы изменение, работающее на первой платформе Anthropic, работало везде. Это напрямую определяет, насколько быстро передовые модели и функции выпускаются на каждой облачной платформе, и как быстро выигрыши в производительности достигают продакшена — высвобождая мощности в то время, когда вычисления являются нашим самым дефицитным ресурсом. Мы верим, что наиболее влиятельные исследования в области ИИ будут проводиться в рамках "большой науки". В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над мелкими и более специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными направлениями компьютерных наук. Мы очень совместная группа, и мы проводим частые исследовательские дискуссии, чтобы гарантировать, что мы занимаемся наиболее влиятельной работой в любой момент времени. Таким образом, мы высоко ценим навыки общения. Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие из направлений, над которыми работала наша команда до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences. Присоединяйтесь к нам!

Быть на критическом пути запуска передовых моделей, обеспечивая инференс для новых архитектур моделей и выпуская их на облачные платформы синхронно с нашей внутренней платформой Работать с основной командой инференса над внедрением новых функций инференса (например, структурированного сэмплирования, кэширования запросов и т. д.) на облачные платформы, отвечая за специфичную для платформы интеграцию, которая выводит их в продакшен Определять и глубоко изучать пробелы, из-за которых инференс ведет себя по-разному между внутренней платформой и CSP — дрейф конфигурации, наблюдаемость, шаблоны развертывания, сложные межплатформенные ошибки — и устранять их у источника, а не создавать специфичные для платформы обходные пути Проектировать, создавать и поддерживать CI/CD инфраструктуру для сервера инференса и балансировщика нагрузки на всех облачных платформах, с теневым трафиком, базовыми показателями производительности (пропускная способность и задержка) и проверками корректности, которые отлавливают регрессии до продакшена Сокращать время цикла от слияния до продакшена, делая валидацию быстрее, более параллельной и экономически эффективной, чтобы она выполнялась на том же ограниченном пуле ускорителей, который обслуживает клиентов, не жертвуя надежностью Анализировать данные наблюдаемости по всем поставщикам для выявления узких мест производительности, аномалий затрат и регрессий, а также проводить исправления на основе реальных производственных рабочих нагрузок

Иметь глубокий интерес к обслуживанию LLM; предыдущий опыт работы с инференсом или ML не требуется Иметь значительный опыт программной инженерии с сильным опытом в высокопроизводительных, крупномасштабных распределенных системах, обслуживающих миллионы пользователей Иметь подтвержденный опыт создания автоматизации или инфраструктуры тестирования, которая измеримо улучшила скорость выпуска или надежность Иметь опыт создания или эксплуатации сервисов на как минимум одной крупной облачной платформе (AWS, GCP или Azure) с опытом работы с Kubernetes, Infrastructure as Code или оркестрацией контейнеров Преуспевать в кросс-функциональном сотрудничестве как с внутренними командами, так и с внешними партнерами Быстро обучаться новым технологиям, аппаратным платформам и экосистемам поставщиков Быть высокоавтономным и брать на себя полную ответственность за решение проблем, включая работу, выходящую за рамки вашего описания должности Предпочтительные квалификации Оптимизация инференса LLM, стратегии пакетной обработки и кэширования Планирование с учетом ограничений по мощностям или инфраструктура тестирования общих ресурсов Глубокое понимание многорегиональных развертываний, маршрутизации запросов, балансировки нагрузки, глобального управления трафиком Работа с командами партнеров CSP для масштабирования инфраструктуры на нескольких платформах, навигация по различиям в сетях, безопасности, конфиденциальности и управляемых сервисах Владение Python или Rust Минимальное образование: степень бакалавра или эквивалентная комбинация образования, обучения и/или опыта Требуемая область обучения: Область, соответствующая роли, подтвержденная курсовыми работами, обучением или профессиональным опытом Минимальное количество лет опыта: Требуемое количество лет опыта будет коррелировать с внутренними требованиями к уровню должности для этой позиции

Вознаграждение (годовой оклад): 320 000 – 485 000 долларов США в год.

Годовой диапазон компенсации для этой роли указан ниже. Для ролей в продажах указанный диапазон является диапазоном целевого заработка ("OTE"), что означает, что диапазон включает как целевые комиссионные/бонусы по продажам, так и годовой базовый оклад для этой роли. Годовой оклад: $320 000 — $485 000 USD Гибридная политика на основе местоположения: В настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать большего времени, проведенного в наших офисах. Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не можем успешно спонсировать визы для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и для этого у нас есть иммиграционный юрист. Мы призываем вас подать заявку, даже если вы не соответствуете всем требованиям. Не все сильные кандидаты соответствуют всем перечисленным требованиям. Исследования показывают, что люди из недопредставленных групп чаще испытывают синдром самозванца и сомневаются в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подать заявку, если вас заинтересовала эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы думаем, что это делает репрезентативность еще более важной, и мы стремимся включать в нашу команду разнообразные точки зрения. Anthropic — это публичная общественно-полезная корпорация со штаб-квартирой в Сан-Франциско. Мы предлагаем конкурентоспособное вознаграждение и льготы, опциональное соответствие пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для совместной работы с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявки.