Senior AI Infrastructure Engineer

Должность: Старший инженер по инфраструктуре ИИ Местоположение: Мельбурн / Гибридный формат

Мы — Heidi.

Мы строим будущее здравоохранения, предоставляя каждому клиницисту лучший в мире партнер по уходу на основе ИИ. Всего за 18 месяцев наши клинические продукты на базе ИИ справились с административным хаосом, связанным с 73 миллионами визитов пациентов. Сегодня мы поддерживаем более 2,5 миллионов сеансов пациентов в неделю в более чем 190 странах.

Системы здравоохранения подводят нас: клиницисты тратят больше времени на документацию, чем на пациентов, а человеческая связь, которая делает медицину такой ценной, разрушается. Наша миссия проста: удвоить мировые мощности здравоохранения и укрепить человеческую связь в его основе.

Мы нашли продукт, соответствующий рынку, с бесплатной медицинской пишущей машинкой, которую любят клиницисты. Теперь мы расширяемся. Каждая задача, которую клиницист передает Heidi, — это пациент, который чувствует себя более окруженным заботой, разгруженная система здравоохранения и клиницист, который снова может быть клиницистом.

Если вы не выбираете легкий путь и хотите построить что-то гораздо большее, чем вы сами, тогда выберите вызов, выберите Heidi.

Роль

Эта роль находится в команде моделей — исследователях и инженерах, которые обучают, развертывают и владеют ИИ-моделями, лежащими в основе каждого продукта Heidi. Вы будете создавать и эксплуатировать инфраструктуру, которая делает эти модели быстрыми, надежными и экономически эффективными в больших масштабах.

Ваша работа будет охватывать обслуживание моделей в производственной среде, управление кластерами GPU и инфраструктуру, поддерживающую обучение и оценку. Вы будете решать, как рабочие нагрузки совместно используют вычислительные ресурсы, диагностировать узкие места в производительности и создавать инструменты развертывания и наблюдения, которые помогают команде быстро и уверенно двигаться вперед.

Мы ищем практического инженера, который развертывал и эксплуатировал модели в производственной среде, понимает требования рабочих нагрузок GPU и может взять систему от первоначального проектирования до развертывания, устранения инцидентов и постоянного улучшения. Вы будете тесно сотрудничать с исследователями и нашими инженерами платформы, владея системами, которые вы создаете.

Что вы будете делать

• Создавать и владеть инфраструктурой обслуживания моделей. Переводить модели из контрольной точки в рабочую среду с повторяемыми конвейерами развертывания, маршрутизацией запросов, автоматическим масштабированием, путями отката и контролируемыми развертываниями и отзывами в разных регионах.

• Управлять кластерами GPU и планированием рабочих нагрузок. Улучшать распределение ресурсов между инференсом, обучением и оценкой. Создавать политики планирования, основанные на приоритете рабочей нагрузки, квотах, топологии оборудования и требованиях к восстановлению, чтобы онлайн-сервисы оставались отзывчивыми, а другие рабочие нагрузки продуктивно использовали ресурсы.

• Повышать производительность инференса. Профилировать реальные рабочие нагрузки и улучшать задержку, пропускную способность и эффективность использования памяти. Оценивать стратегии пакетирования, управления KV-кэшем, квантования, спекулятивного декодирования и параллелизма с учетом производственного трафика и требований к качеству.

• Поддерживать распределенное обучение и итерации моделей. Предоставлять исследователям надежные способы запуска задач тонкой настройки и обучения, управления артефактами моделей, сохранения и восстановления контрольных точек, а также перемещения проверенных моделей для обслуживания. Сокращать время, теряемое на неудачные задачи, медленную загрузку данных и ручную настройку.

• Сделать развертывания наблюдаемыми, а инциденты — отслеживаемыми. Связывать запросы приложений и сеансы с точной моделью, конфигурацией развертывания и обработчиком, который их обслуживал. Создавать панели мониторинга и оповещения, охватывающие задержку модели, очереди, ошибки, состояние GPU, давление памяти и производительность рабочей нагрузки.

• Владеть надежностью производства. Определять цели обслуживания, расследовать инциденты на уровне приложения, движка инференса, GPU и сети, а также создавать работающие процедуры восстановления. Превращать повторяющиеся сбои в исправления, автоматизированные проверки и полезные руководства.

• Сделать расходы на вычисления действенными. Отслеживать использование GPU, незадействованные ресурсы и стоимость инференса по моделям и рабочим нагрузкам. Использовать прогнозы мощностей и измеренную производительность для принятия решений о развертывании и улучшения стоимости за успешный запрос без ущерба для качества или надежности.

• Создать платформу, которую может использовать команда моделей независимо. Автоматизировать предоставление ресурсов, конфигурацию, тестирование производительности и выпуски. Сотрудничать с инженерами, отвечающими за ASR, генерацию заметок, Evidence и Dictate, чтобы новые модели могли развертываться и оцениваться с использованием согласованных, хорошо поддерживаемых рабочих процессов.

Что вам понадобится

• Прочный инженерный фундамент. Практический опыт работы с инфраструктурой ИИ. Минимум 1 год создания и эксплуатации инфраструктуры для больших языковых моделей, включая развертывание моделей, обслуживание инференса или распределенное обучение. Вы можете спроектировать систему, написать код и владеть ею в производственной среде.

• Опыт развертывания моделей в производственной среде. Вы развертывали и поддерживали LLM или другие требовательные рабочие нагрузки машинного обучения, используя такие движки, как vLLM, SGLang, TensorRT-LLM, Triton Inference Server или аналогичные системы. Вы понимаете работу между загрузкой модели и запуском надежного сервиса.

• Опыт работы с кластерами GPU и оркестрацией. Вы управляли рабочими нагрузками GPU с помощью Kubernetes, Slurm или эквивалентной платформы, имея практический опыт в планировании, распределении ресурсов, планировании мощностей и восстановлении после сбоев.

• Навыки отладки производительности. Вы можете использовать трассировки, метрики и инструменты профилирования для различения узких мест в вычислениях, памяти, коммуникациях и планировании. Вы понимаете, как размер пакета, длина контекста, точность и выполнение на нескольких GPU влияют на производительность и стоимость.

• Сильные навыки программирования и системного администрирования. Вы владеете Python и комфортно себя чувствуете при разработке бэкэнда или систем на Go, C++, Rust или аналогичном языке. У вас есть практический опыт работы с Linux, контейнерами, автоматизацией развертывания и распределенными системами.

• Операционная ответственность. Вы отвечали за инциденты в производственной среде, создавали полезный мониторинг и обеспечивали возможность восстановления после выпусков. Вы можете объяснить компромиссы, лежащие в основе дизайна, и эффективно работать с исследователями, инженерами по продуктам и партнерами по инфраструктуре.

Будет плюсом

• Опыт работы с фреймворками распределенного обучения, такими как PyTorch FSDP или Megatron, или инфраструктурой для обучения с подкреплением и генерации роллаутов.

• Опыт настройки движков инференса, обслуживания моделей MoE или реализации квантования, спекулятивного декодирования и разделения prefill/decode.

• Знакомство с GPU-интерконнектами, NCCL, RDMA, планированием с учетом топологии или диагностикой проблем многоузловых коммуникаций.

• Разработка CUDA или Triton kernel, вклад в проекты инфраструктуры ИИ или опыт создания операторов кластеров и интеграций планировщиков.

• Опыт эксплуатации инфраструктуры в нескольких регионах или у нескольких провайдеров, особенно для здравоохранения или других чувствительных производственных рабочих нагрузок.

Как мы работаем

• Строим на десятилетия вперед, а не на следующий квартал. Наши цели намеренно завышены. Мировое здравоохранение не может позволить себе инкрементализм.

• Лидируем, а не ждем. Мы решаем завтрашние проблемы сегодня. Иногда мы строим то, что нужно, еще до того, как это понадобится, и нас это устраивает.

• Следуем доказательствам. Доверяем пациенту. Мы неустанно ищем истину. Но когда субъективное и объективное расходятся, мы лечим пациента, а не цифры. Эго — это сопутствующее заболевание, которое мы не можем себе позволить.

• Несем ответственность за результат. Каждый здесь несет ответственность за компанию. Поднимайте проблемы с решениями, решайте их от начала до конца и никогда не оставайтесь в стороне.

• Выпускаем, измеряем, повторяем. Сегодня кнопка, завтра рабочий процесс. Больше итераций лучше, чем лучшее планирование. Мы точны в темпе, а не безрассудны.

• Живем в реальности клиницистов. Не идеальный рабочий процесс, а реальный, когда двадцать пациентов до обеда. Мы строим для измученных людей, и нам лучше быть порядочными, когда мы это делаем.

Почему Heidi?

Вы присоединитесь к команде, сосредоточенной на реальном влиянии, а не на вымышленных оценках и глянцевой рекламе. Мы живем и дышим проблемами современных систем здравоохранения и сосредоточены на внесении изменений, которые мы хотели бы видеть. Мы — медики, инженеры, строители и дизайнеры, которые испытали моральный и практический ущерб от того, как ощущается отсутствие ухода. Здесь настоящие А-игроки развиваются чрезвычайно быстро.

Масштабирование требует усилий, но мы ценим устойчивую производительность и психическое здоровье. Вам доверяют выполнение работы, и вы сами устанавливаете свой график. Мы работаем по принципу «результаты > вложенные усилия», а не «театральность процесса». Мы все выносим мусор, метафорически и буквально.

Создание того, что мы создаем, не всегда легко. Но мы не выбирали легкий путь, мы выбрали построить то, что действительно имеет значение. Мы придерживаемся более высоких стандартов, потому что этого требует здравоохранение. Если вы присоединитесь к Heidi, вы признаете, что более глубокий вопрос не в том, может ли ИИ решить глобальный кризис здравоохранения, а в том, чьи руки будут его формировать. Работа тяжелая, но вы будете доверять и восхищаться людьми, с которыми работаете, и будете спокойно спать, зная, что вы выполняете определяющую работу своей карьеры.

Мы заботимся о вас.

Мы предлагаем ежегодный бюджет на обучение и развитие в размере 1000 долларов США, ежемесячное пособие на здоровье и благополучие в размере 150 долларов США, бюджет на домашний офис в размере 500 долларов США, 26 недель оплачиваемого первичного родительского отпуска и 18 недель оплачиваемого вторичного родительского отпуска, поддержку репродуктивного здоровья до 10 000 долларов США, четыре недели работы из любой точки мира в год и значительную долю акций.