Technical Program Manager, Inference

Вознаграждение (годовой оклад): 290 000 – 435 000 USD в год

О Anthropic

Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы искусственного интеллекта. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, которые работают вместе над созданием полезных систем ИИ.

О роли

Подразделение Inference Anthropic обслуживает Claude для миллионов пользователей и корпоративных клиентов на наших собственных продуктах и на крупнейших мировых облачных платформах, обеспечивая скорость, надежность и эффективность, которые требуются передовым ИИ. Технологический стек, который делает это возможным, глубоко взаимосвязан: ядра ускорителей, собственный движок инференса, управляющий всем путем токенов для производственных и исследовательских рабочих нагрузок, распределенная маршрутизация, автоматическое масштабирование и управление мощностями. Каждый слой влияет на другие, часто способами, которые трудно увидеть в изоляции. Мы работаем с GPU, TPU и Trainium, и сложность создания, тестирования и доставки программного обеспечения для инференса растет с каждой добавленной платформой.

Мы ищем технического менеджера программ, который будет руководить программами, обеспечивающими масштабирование. Работа охватывает четыре тесно связанные области:

• Масштабирование и инфраструктура. Маршрутизация, автоматическое масштабирование и управление мощностями для парка обслуживания, а также ввод в эксплуатацию новых мощностей.
• Скорость. Инструментарий, среды разработки и CI/CD, позволяющие инженерам инференса создавать, тестировать и доставлять ПО для каждой платформы ускорителей.
• Движок инференса. Программное обеспечение между ядрами ускорителей и уровнем маршрутизации, которое обслуживает каждый запрос.
• Производительность. Повышение пропускной способности, снижение задержки, стоимости и повышение надежности всего стека, при этом корректность рассматривается как часть производительности.

Это не роль отслеживания статуса. Вы будете нести полную ответственность за результаты, часто в ситуациях, когда ни одна команда не несет полной ответственности за картину в целом. Большая часть вашей ценности заключается в пересечении границ с отделами исследований, безопасности (Safeguards), кибербезопасности, вычислений, инфраструктуры, API, а также с нашими облачными партнерами и производителями кремния, и в сборе требований и зависимостей, которые ни одна команда не видит из своего собственного пространства. Наследуемого процесса мало, и мы хотим сохранить это: вы создадите минимально необходимый для работы механизм и устраните его, когда он перестанет быть полезным. И поскольку это Anthropic, у вас будет Claude в качестве помощника. Мы ожидаем, что технические менеджеры программ в этой команде будут активно исследовать, каким может быть управление программами с помощью ИИ и эксплуатация парка.

Основные обязанности

• Управление программами, обеспечивающими масштабирование парка обслуживания Claude на различных платформах ускорителей и облачных платформах, от первоначального направления до реализации.
• Полное обеспечение ввода в эксплуатацию новых мощностей, работа с командами по вычислениям, инфраструктуре, кибербезопасности, сетям и инференсу, чтобы один человек нес ответственность за весь путь.
• Обеспечение прозрачности поставок, спроса и использования совместно с партнерами по управлению мощностями и финансами, а также управление компромиссами между использованием, стоимостью, задержкой и надежностью для принятия четких решений.
• Руководство программами повышения надежности и крупными миграциями без нарушения производственного трафика или исследований, а также обеспечение включения результатов анализа инцидентов в дорожные карты команд.
• Управление программами, повышающими скорость работы инженеров инференса: определение важных метрик производительности, выявление узких мест и улучшение способов сборки, тестирования и выпуска программного обеспечения на различных платформах, в соответствии с центральным подразделением инфраструктуры Anthropic.
• Координация дорожных карт и приоритетов для производственных, исследовательских и охранных нужд, которые зависят от одних и тех же команд.
• Отслеживание работы по повышению производительности и эффективности от возможности до измеренного воздействия в производстве, при этом корректность рассматривается как критерий выпуска.
• Обеспечение готовности инференса к запуску моделей совместно с нашими менеджерами программ запуска.

Минимальные требования

• 7+ лет опыта работы в качестве TPM или на эквивалентной руководящей должности инженера или SRE, отвечающего за крупномасштабные междисциплинарные инфраструктурные программы от начала до конца в области производственных распределенных систем, инфраструктуры машинного обучения или облачных платформ. Вы можете подробно рассказать о результатах, в том числе о том, где программа задерживалась и что вы с этим делали.
• Техническая компетентность в области крупномасштабной инфраструктуры обслуживания, включая маршрутизацию запросов и балансировку нагрузки, автоматическое масштабирование, планирование мощностей, оркестрацию кластеров, развертывание и вывод в эксплуатацию, а также наблюдаемость. Вы знаете достаточно, чтобы ставить под сомнение дизайн, находить реальный риск и добавлять ценность помимо отслеживания.
• Рабочее понимание того, как LLM-инференс использует аппаратное обеспечение (prefill и decode, batching, caching, compute versus memory bandwidth versus interconnect), или опыт быстрого углубления в незнакомую техническую область.
• Опыт создания механизмов программ с нуля в условиях неоднозначных, быстро меняющихся задач, а также опыт отказа от процессов, которые перестали быть полезными.
• Способность добиваться результатов в организациях, которыми вы не управляете, при наличии конкурирующих приоритетов и неясной ответственности за принятие решений. Вы хорошо читаете людей и обстановку, знаете, когда нужно настаивать, а когда слушать, и завоевываете доверие старших инженеров и исследователей.
• Сильные навыки письменного общения, включая планы, обзоры и отчеты для руководства, на которые полагаются многие команды.
• Низкое эго и высокая ответственность. Вы делаете все, что требуется для программы, будь то написание скрипта, проведение моста во время инцидента или преследование квоты, и вас больше волнует результат, чем объем работы или признание.
• Забота о миссии Anthropic и о безопасном и надежном обеспечении передового ИИ.

Предпочтительные квалификации

• Прямой опыт работы с LLM или ML-инференсом в больших масштабах, такой как серверы моделей, пакетная обработка и планирование, KV-кеширование, квантование, спекулятивное декодирование или маршрутизация нескольких моделей.
• Опыт работы с инфраструктурой ускорителей (GPU, TPU или Trainium), включая запуск кластеров, квалификацию оборудования или запуск одной рабочей нагрузки на нескольких платформах ускорителей.
• Опыт управления мощностями в нескольких облаках или регионах, включая прогнозирование спроса, политику резервирования, моделирование затрат или экономику единицы продукции для вычислительно-интенсивных сервисов.
• Опыт работы с производительностью разработчиков, инженерными выпусками или CI/CD в больших масштабах, особенно для рабочих нагрузок, зависящих от оборудования, и использования инженерных метрик для измеримого повышения скорости.
• Опыт работы с программами повышения производительности или эффективности, с достаточным знанием rooflines, ядер, ML-компиляторов (XLA, Triton, Neuron), численных методов или коллективных коммуникаций для обоснования компромиссов с инженерами, выполняющими работу.
• Знакомство с оркестрацией на базе Kubernetes и планированием заданий.
• Опыт работы с исследовательскими командами и преобразования их потребностей в требования к инфраструктуре.
• Практический опыт использования инструментов ИИ в собственном рабочем процессе, включая создание автоматизаций или агентов, и четкое понимание того, где они помогают, а где нет.

Годовой диапазон компенсации для этой роли указан ниже.

Для ролей в продажах указанный диапазон — это целевой диапазон заработка ("OTE"), что означает, что диапазон включает как целевые комиссионные/бонусы по продажам, так и годовой базовый оклад для роли.

Годовой оклад: $290 000 — $435 000 USD

Логистика

Минимальное образование: степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта

Требуемая область обучения: Область, соответствующая роли, подтвержденная курсовой работой, обучением или профессиональным опытом

Минимальное количество лет опыта: Количество лет опыта, необходимое для данной должности, будет коррелировать с внутренними требованиями к уровню должности.

Гибридная политика, основанная на местоположении: В настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать больше времени в наших офисах.

Визовая поддержка: Мы предоставляем визовую поддержку! Однако мы не можем успешно оказывать визовую поддержку для каждой роли и каждого кандидата. Но если мы сделаем вам предложение, мы приложим все разумные усилия, чтобы получить для вас визу, и для этого мы привлекаем иммиграционного адвоката.

Мы призываем вас подавать заявку, даже если вы не соответствуете всем перечисленным требованиям. Не все сильные кандидаты будут соответствовать каждому перечисленному требованию. Исследования показывают, что люди, идентифицирующие себя как принадлежащие к недопредставленным группам, чаще испытывают синдром самозванца и сомневаются в силе своей кандидатуры, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вы заинтересованы в этой работе. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромное социальное и этическое значение. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать в нашу команду разнообразные точки зрения.

Ваша безопасность важна для нас. Чтобы защитить себя от возможных мошенничеств, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые заявят, что работают от имени Anthropic. Будьте осторожны с письмами с других доменов. Легитимные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо будете сомневаться в коммуникации, не переходите по ссылкам — перейдите непосредственно на страницу вакансий Anthropic, чтобы узнать о подтвержденных вакансиях.

В чем мы отличаемся

Мы считаем, что наиболее влиятельные исследования в области ИИ будут осуществляться в рамках «большой науки». В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над мелкими и специфическими задачами. Мы рассматриваем исследования ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько и с традиционными направлениями в компьютерных науках. Мы являемся чрезвычайно сплоченной группой и проводим частые исследовательские дискуссии, чтобы гарантировать, что мы занимаемся работой, имеющей наибольшее влияние в данный момент. Поэтому мы высоко ценим навыки общения.

Самый простой способ понять наши исследовательские направления — прочитать наши последние исследования. Эти исследования продолжают многие направления, над которыми наша команда работала до Anthropic, в том числе: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety, and Learning from Human Preferences.

Присоединяйтесь к нам!

Anthropic — это общественная корпорация (public benefit corporation), расположенная в Сан-Франциско. Мы предлагаем конкурентную компенсацию и льготы, возможность добровольного пожертвования акций, щедрый отпуск и отпуск по уходу за ребенком, гибкий график работы и прекрасное офисное пространство для сотрудничества с коллегами. Руководство по использованию ИИ кандидатами: Узнайте о нашей политике использования ИИ в процессе подачи заявления.