Inference Infrastructure Architect

О Telnyx Telnyx — лидер отрасли, который не просто представляет будущее глобальной связи, а создает его. Архитектурно проектируя и усиливая охват частной глобальной мультиоблачной IP-сети, предоставляя гиперлокальные граничные технологии под рукой через интуитивно понятные API, мы формируем новую эру бесшовной взаимосвязи между людьми, устройствами и приложениями. Нами движет желание трансформировать и модернизировать устаревшее, автоматизировать ручное и решать реальные проблемы с помощью инновационных решений в области связи. В подтверждение нашего успеха мы с гордостью являемся финансово стабильной и прибыльной компанией. Наша высокая прибыльность позволяет нам не только инвестировать в новаторские технологии, но и способствовать созданию среды непрерывного обучения и роста для нашей команды. Наше коллективное видение — это мир, где безграничная связь питает безграничные инновации. Присоединившись к нам, вы можете внести свой вклад в создание основ этого взаимосвязанного будущего. В настоящее время мы ищем увлеченных специалистов, которые рады возможности внести свой вклад в формирующую отрасль компанию, одновременно развивая свои навыки и карьеру. Архитектор инфраструктуры вывода Senior / Staff · Удаленно — материковый Китай · Основополагающая команда в Китае Telnyx управляет собственным парком B300 — нашим оборудованием, на наших объектах, управляемым от аппаратного уровня и расширяющимся по всему миру. Эта роль существует для того, чтобы превратить этот парк в полезную пропускную способность: собственный трафик AI-агента Telnyx в сети голоса и обмена сообщениями, а также вывод для внешних клиентов за шлюзом токенов, выделенные развертывания и настроенные модели. У вас два мандата: Эффективно управлять и расширять парк. Максимизировать полезную пропускную способность вывода на доллар GPU, соблюдая SLO по задержке и надежности, и постоянно снижать стоимость за токен. Обеспечить работу продукта на нем. Бессерверный вывод для каталога открытых весов и выделенные, настроенные развертывания моделей для предприятий. Стек является открытым исходным кодом, от bare metal до конечной точки, совместимой с OpenAI. Вы работаете над ним на уровне upstream.

Что вы будете создавать Бессерверные пулы обслуживания. Движки vLLM / SGLang с непрерывной пакетной обработкой, предварительным кэшированием префиксов, обслуживанием с низкой точностью (FP8, FP4, INT4) и параллелизмом экспертов MoE, обслуживающие вершину каталога открытых весов в многопользовательском масштабе. Уровень парка. llm-d / NVIDIA Dynamo на Kubernetes Gateway API: маршрутизация с учетом KV-кэша, разделение prefill/decode, тиринг KV (Mooncake) и многопользовательское обслуживание LoRA, чтобы сотни клиентских адаптеров использовали один базовый пул. Платформа под ним. Kubernetes на bare metal: GPU Operator, топологически-ориентированное планирование, LeaderWorkerSet, Kueue; Kata Containers для изолированных выделенных арендаторов; жизненный цикл bare metal с OpenStack Ironic. Логистика весов и эластичность. Распределение моделей P2P (Dragonfly, потоковая передача safetensors), теплые пулы и автоматическое масштабирование на основе метрик вывода — глубина очереди, заполненность KV, TTFT — никогда не CPU. Выделенный уровень. Пулы на арендатора, учет часов GPU, SLO по задержке, частные сети; и сторона обслуживания цикла настройки модели: версионирование адаптера, канареечный выпуск, откат при регрессии результатов. Наблюдаемость и экономика. Метрики DCGM и движка в Prometheus / OpenTelemetry; планирование мощностей, основанное на математике roofline — декодирование с ограниченной пропускной способностью, кривые пакетной обработки, утилизация по сравнению со стоимостью за токен.

Стек, с которым вы будете работать Часть этого уже является выбранным направлением: Kubernetes на bare metal, vLLM / SGLang, конечная точка, совместимая с OpenAI. Большая часть остального — кандидаты, которых вы будете оценивать. Вы будете выбирать, тестировать и интегрировать компоненты, которые заслуживают своего места в производстве. Мы ценим глубину в основном стеке обслуживания и здравое архитектурное суждение, а не предыдущий опыт работы с каждым перечисленным проектом. Движки: vLLM · SGLang Методы обслуживания: разделение prefill/decode · широкий параллелизм экспертов · спекулятивное декодирование (MTP, EAGLE-3) · низкая точность (FP8, FP4, INT4) Библиотеки MoE и внимания: DeepEP · DeepGEMM · EPLB · FlashMLA Маршрутизация и обслуживание: llm-d · NVIDIA Dynamo · Kubernetes Gateway API · Envoy · Ray Serve / KubeRay KV кэш и веса: Mooncake · HiCache · 3FS · Dragonfly Планирование и совместное использование GPU: Kubernetes · Volcano · Kueue · LeaderWorkerSet · HAMi Изоляция и bare metal: Kata Containers · OpenStack Ironic · NVIDIA GPU Operator Наблюдаемость: Prometheus · Grafana · DCGM · OpenTelemetry

Кого мы ищем Вы руководили обслуживанием LLM в производственной среде с существенными ограничениями по трафику и задержке, и можете объяснить архитектуру, диагностированные вами узкие места, внесенные вами изменения и полученные улучшения в задержке, надежности или стоимости. Масштаб порядка тысяч GPU или миллионов запросов в день является сильным сигналом, а не строгим требованием. Kubernetes на GPU-кластерах, управляемый от начала до конца: GPU Operator, плагины устройств, пулы узлов и топологически-ориентированное размещение, пакетное планирование (LeaderWorkerSet, Kueue), развертывания GitOps и способность отлаживать, почему pod разместился именно там. Глубокое операционное владение vLLM или SGLang: развертывание, настройка и обновление (параллелизм с TP / EP, квантование, настройки пакетов и KV-кэша, предварительное кэширование префиксов, разделение), и знание того, какой рычаг влияет на какую метрику. Инженерия производительности на системном уровне: вы читаете метрики engine и DCGM, рассуждаете на основе roofline и рассчитываете размеры развертываний с помощью чисел. Python и Go для автоматизации; глубокое знание Linux, сетей и хранения данных. Вам не нужно писать CUDA; вам нужно знать, когда проблема является таковой, и передавать ее upstream. Вы работаете с сообществом на английском и китайском языках, и пишете runbooks и проектные документы, которые люди действительно читают.

Опыт, который мы особенно ценим Управление платформами вывода в масштабе Ant Group, Alibaba Cloud / PAI, Tencent, ByteDance, Baidu, Huawei, DaoCloud, Moonshot, DeepSeek или сопоставимых команд. Участие в проектах или активное производственное использование любого из следующих: vLLM, SGLang, llm-d, NVIDIA Dynamo, Ray / KubeRay, Kata Containers, Volcano, Kueue, HAMi, Dragonfly, Mooncake, Envoy. Присутствие в сообществе CNCF / OpenInfra: выступления на KubeCon China, OpenInfra Days, митапах vLLM или SGLang.

Желательно Инфраструктура для дообучения / RL: конвейеры LoRA, системы оценки, канареечный выпуск, откат при регрессии. Работа с задержкой в реальном времени для голоса: бюджеты времени до первого токена менее секунды для активных вызовов. Развертывания в нескольких регионах и требования к географическому расположению данных.

Что мы предлагаем Новейшее оборудование, наше, от аппаратного уровня. Глобально расширяющийся парк B300, который Telnyx строит и эксплуатирует от начала до конца. Привнесите свой опыт оптимизации требовательных производственных рабочих нагрузок в парк, где вы формируете архитектуру от bare metal до конечного пользователя. Владейте платформой, стройте команду. Новая платформа вывода, где вы устанавливаете стандарты, которым следуют другие. Будучи одним из основателей нашей команды в Китае, вы также будете участвовать в выборе будущих членов команды и определять, как команда будет работать. Приоритет — открытый исходный код. Вклад в upstream является частью работы, и командировки на конференции поддерживаются. Базируйтесь на материковом Китае, переезд не требуется. Вы работаете удаленно с глобальной командой, дружественной к асинхронному режиму. Если вы когда-либо решите переехать, у нас есть нанимающие организации в Нидерландах, США, Ирландии и Саудовской Аравии, и мы спонсируем визы.

При подаче заявления Включите краткое описание системы вывода, которую вы лично улучшили: узкое место, ваше вмешательство и измеренный результат. Анонимный пример приветствуется.