Engineering Manager, Inference Infrastructure

Вознаграждение (годовая зарплата): 405 000 – 625 000 долларов США в год

О Anthropic Миссия Anthropic — создавать надежные, интерпретируемые и управляемые системы ИИ. Мы хотим, чтобы ИИ был безопасным и полезным для наших пользователей и для общества в целом. Наша команда — это быстрорастущая группа преданных своему делу исследователей, инженеров, экспертов по политике и бизнес-лидеров, работающих вместе над созданием полезных систем ИИ. О роли Каждый запрос, поступающий в Claude — будь то с claude.ai, API, от наших облачных партнеров или для внутренних исследований — зависит от ряда решений, принятых до того, как он достигнет модели: где должен обслуживаться каждый запрос и сколько мощности требуется каждой модели в данный момент. Правильность этих решений имеет решающее значение для удовлетворения требований к пропускной способности, надежности и задержке. Эта группа создает управляющий уровень, который принимает эти решения для парка систем вывода Anthropic, и владеет путем обработки запросов на вывод. Это глубоко техническая группа. Инженеры здесь разрабатывают алгоритмы размещения и балансировки нагрузки, создают количественные модели спроса, мощности и производительности системы, улучшают задержки на границах ядра, сети и фреймворка, а также тщательно анализируют, как изменение в парке влияет на все, что от него зависит. Вы будете руководить сильной группой инженеров ML-платформы, инфраструктуры и распределенных систем, работающих бок о бок с командами, которые разрабатывают наши ML-внутренности и облачную инфраструктуру. Вам потребуется достаточная системная глубина, чтобы принимать архитектурные решения, нанимать людей, которые углубляются в детали, и видеть, когда предлагаемое изменение повлияет на весь парк. Вы несете ответственность за работоспособность всего пути от запроса до модели: его эффективность, надежность и то, насколько хорошо он развивается по мере изменения моделей, оборудования и облаков под ним. Ключевые обязанности Управление технической дорожной картой координации парка систем вывода — куда идет трафик, где находится емкость, где размещаются кэши, насколько быстро система реагирует на спрос и какие протоколы обеспечивают синхронизацию управляющего уровня и движков вывода. Сотрудничество с командами по продуктам, движкам вывода, производительности и емкости для выявления преимуществ в пропускной способности, задержке, утилизации и затратах, а затем преобразование их в реализованные улучшения с измеримыми результатами. Привитие группе привычки к количественному моделированию: добивайтесь успеха только тогда, когда вы можете его измерить, и знайте до развертывания, каков ожидаемый эффект. Определение технической стратегии развития управляющего уровня для гетерогенного оборудования, различных облачных провайдеров и всех наших обслуживаемых поверхностей. Управление операционным ядром группы — дежурства по вызову, реагирование на инциденты, анализ постмортемов, безопасность развертывания — чтобы команды могли активно развертывать код, не делая систему хрупкой. Создание ясности на стыке: эта группа находится между API-интерфейсом, движками вывода, планированием емкости и командами облачного развертывания. Развитие и удержание сильных существующих команд, а также найм сотрудников, соответствующих высоким техническим стандартам. Наставничество инженеров в рамках дорожной карты, где приоритеты меняются. Формирование структуры команды по мере роста объема работ: определение границ между проблемными областями и развитие руководителей, которые смогут ими управлять. Устранение проблем, когда это необходимо. Это небольшие команды на критически важном пути; иногда EM является тем, кто снимает блокировку с отстающей инициативы или синтезирует обсуждение дизайна. Минимальные требования Опыт управления инженерными командами, работающими над критически важной производственной инфраструктурой в масштабе. Глубокие системные знания — балансировка нагрузки, планирование, оркестрация кластера, автоматическое масштабирование, распределенное состояние с когерентным кэшированием, высокопроизводительные сети или аналогичное — с достаточной глубиной для принятия архитектурных решений о координации большого парка и оценки кандидатов, которые работают на уровне ядра и фреймворка. Опыт внедрения улучшений производительности или эффективности в крупномасштабных системах и способность объяснять, подкрепляя цифрами, каково было влияние — включая аспект затрат, а не только задержки. Опыт эксплуатации производственной инфраструктуры с реальными операционными рисками: дежурства по вызову, реагирование на инциденты, события, связанные с емкостью, дисциплина развертывания. Ориентация на результат, ориентированный на влияние подход и комфорт работы в пространстве, где пропускная способность, задержка, стоимость, стабильность, сроки запуска и скорость выпуска функций — все это тянет в разных направлениях. Способность строить прочные отношения между командами — это стыковая роль, и большая часть работы заключается в обеспечении того, чтобы другие команды могли полагаться на вашу. Любопытство к системам машинного обучения — вам не нужен опыт исследований в области машинного обучения, но вы должны хотеть узнать, как на самом деле работает вывод трансформеров, и как это формирует системные проблемы. Предпочтительные квалификации 5+ лет опыта управления инженерными командами. Опыт обслуживания LLM-вывода — KV-кэширование, непрерывная пакетная обработка, планирование запросов, разделение префиксного/декодирующего этапов. Опыт работы с планировщиками кластеров, автоскейлерами, балансировщиками нагрузки, сервисными сетками или плоскостями управления парком в масштабе (внутренние компоненты Kubernetes, системы типа Borg или аналогичные). Опыт эксплуатации рабочих нагрузок в нескольких облаках или на платформах партнеров, а также связанные с этим компромиссы в отношении надежности и стоимости. Знакомство с гетерогенными парками ускорителей и тем, как различия в оборудовании влияют на размещение рабочих нагрузок и последовательность развертывания. Опыт руководства командами в масштабе суперкомпьютерной или гиперскейлерской инфраструктуры. Опыт руководства несколькими командами или группой в периоды быстрого роста, когда найм, адаптация и разделение команд конкурировали с выполнением дорожной карты. Годовой диапазон компенсации для этой роли указан ниже. Для ролей, связанных с продажами, указанный диапазон представляет собой диапазон целевого заработка («OTE»), что означает, что диапазон включает в себя как целевые комиссии/бонусы по продажам, так и годовой базовый оклад для данной роли. Годовая зарплата: 405 000 — 625 000 долларов США Логистика Минимальное образование: степень бакалавра или эквивалентное сочетание образования, обучения и/или опыта. Требуемая область обучения: область, релевантная роли, продемонстрированная через курсовую работу, обучение или профессиональный опыт. Минимальный стаж работы: требуемый стаж работы будет коррелировать с требованиями внутреннего уровня должности. Гибридная политика на основе местоположения: в настоящее время мы ожидаем, что все сотрудники будут находиться в одном из наших офисов не менее 25% времени. Однако некоторые роли могут требовать большего времени пребывания в наших офисах. Визовая поддержка: Мы оказываем визовую поддержку! Однако мы не можем успешно оказывать визовую поддержку каждой роли и каждому кандидату. Но если мы сделаем вам предложение, мы приложим все разумные усилия для получения визы, и для этого у нас есть иммиграционный юрист. Мы призываем вас подавать заявку, даже если вы не соответствуете всем квалификационным требованиям. Не все сильные кандидаты будут соответствовать каждому из перечисленных квалификационных требований. Исследования показывают, что люди, относящиеся к недопредставленным группам, чаще испытывают синдром самозванца и сомневаются в своей кандидатуре, поэтому мы настоятельно призываем вас не исключать себя преждевременно и подавать заявку, если вас интересует эта работа. Мы считаем, что системы ИИ, подобные тем, которые мы создаем, имеют огромные социальные и этические последствия. Мы считаем, что это делает представительство еще более важным, и мы стремимся включать в нашу команду разнообразные точки зрения. Ваша безопасность имеет для нас значение. Чтобы защитить себя от потенциальных мошенников, помните, что рекрутеры Anthropic связываются с вами только с адресов электронной почты @anthropic.com. В некоторых случаях мы можем сотрудничать с проверенными рекрутинговыми агентствами, которые будут представляться как работающие от имени Anthropic. Будьте осторожны с письмами с других доменов. Законные рекрутеры Anthropic никогда не будут запрашивать деньги, сборы или банковскую информацию до вашего первого рабочего дня. Если вы когда-либо будете сомневаться в связи, не нажимайте на ссылки — перейдите непосредственно на anthropic.com/careers, чтобы ознакомиться с подтвержденными вакансиями. Чем мы отличаемся Мы считаем, что наиболее влиятельные исследования в области ИИ будут являться «большой наукой». В Anthropic мы работаем как единая сплоченная команда над несколькими крупномасштабными исследовательскими проектами. И мы ценим влияние — продвижение наших долгосрочных целей по созданию управляемого, надежного ИИ — а не работу над более мелкими и специфическими задачами. Мы рассматриваем исследования в области ИИ как эмпирическую науку, которая имеет столько же общего с физикой и биологией, сколько с традиционными областями информатики. Мы чрезвычайно коллаборативная группа, и мы проводим частые исследовательские обсуждения, чтобы гарантировать, что мы занимаемся работой, оказывающей наибольшее влияние в любой данный момент. Таким образом, мы очень ценим коммуникативные навыки. Самый простой способ понять наши направления исследований — это ознакомиться с нашими недавними публикациями. Эти исследования продолжают многие из направлений, над которыми наша команда работала до Anthropic, включая: GPT-3, Circuit-Based Interpretability, Multimodal Neurons, Scaling Laws, AI & Compute, Concrete Problems in AI Safety и Learning from Human Preferences. Приходите работать к нам! Anthropic — это общественная корпорация с ограниченной ответственностью, расположенная в Сан-Франциско. Мы предлагаем конкурентоспособное вознаграждение и льготы, опциональное соответствие пожертвований акциями, щедрый отпуск и отпуск по уходу за ребенком, гибкий рабочий график и прекрасное офисное пространство для сотрудничества с коллегами. Руководство по использованию ИИ кандидатами: Ознакомьтесь с нашей политикой использования ИИ в процессе подачи заявки.