Staff Software Engineer, Inference / Compute Infrastructure Engineering

Название: Staff Software Engineer, Inference / Compute Infrastructure Engineering Лондон или Амстердам Компания: Together AI Местоположение: Лондон / Лондон и Амстердам

О роли

Мы ищем инженера-программиста для создания нативного Kubernetes управляющего уровня, который обеспечивает развертывание и работу нашего парка GPU-инференсов. Вы разработаете API, управляемый манифестами, где команда инференса будет объявлять, что им нужно, будь то кластер, развертывание модели или изменение мощности, а наши контроллеры будут заниматься согласованием, выбором провайдера/среды выполнения и управлением жизненным циклом, чтобы команда инференса никогда не узнала или не заботилась о том, какой конкретный стек обслуживания, планировщик или пул оборудования выполняет работу. Вы также создадите системы, которые поддерживают эффективность парка, а не просто его работу, включая логику дефрагментации и перебалансировки, которая консолидирует разрозненные рабочие нагрузки обратно в непрерывную емкость, и улучшения в планировании/упаковке, которые повышают утилизацию GPU, не ухудшая задержку. Основная ценность, которую мы ищем, — это отделение людей, разрабатывающих поверх платформы, от операционной сложности и сложности среды выполнения под ней, одновременно извлекая больше полезной емкости из того же оборудования. Вы создадите контроллеры, циклы согласования и поверхность самообслуживания (API/CLI, а не тикеты), которые делают это отделение реальным, а также системы реагирования на события, управления состоянием и утилизации, которые поддерживают его работоспособность и эффективность без участия человека. Сильные кандидаты имеют практический опыт работы с паттернами контроллеров/CRD Kubernetes, создавали или эксплуатировали API платформы, который абстрагирует несколько бэкендов за одним интерфейсом, понимают планирование GPU и эффективность емкости (фрагментация, упаковка, правильное масштабирование) и рассматривают GPU-инфраструктуру как программное обеспечение, которое нужно инженерить.

Продуктовое мышление — вы создавали внутренние платформы или API, используемые другими инженерными командами, и заботитесь об удобстве разработчиков того, что вы выпускаете. Вы создаете, вы владеете. Вы несете ответственность не только за поставку программного обеспечения, но и за его эксплуатацию и поддержку в производственной среде.

Обязанности

• Создание конечного автомата состояния развертывания: проектирование и реализация программного обеспечения, которое моделирует полный жизненный цикл физического сервера от обнаружения, запуска инференса до стека драйверов GPU/CUDA, проверки работоспособности и вывода из эксплуатации/RMA — в виде явных, версионированных состояний и переходов.
• Создание API самообслуживания: проектирование декларативных API и управляющего уровня, чтобы команда инференса могла запрашивать, масштабировать и останавливать кластеры инференса одним вызовом API — без тикетов, без участия человека.
• Автоматизация самовосстановления: обнаружение деградированных или отказавших узлов, безопасный вывод их из эксплуатации, инициирование ремонта или замены и автоматическое повторное введение работоспособной емкости в пул.
• Обеспечение надежности конвейера: идемпотентность, повторные попытки, откат и обнаружение дрейфа, чтобы система развертывания была столь же надежной, как и любая другая производственная служба.
• Взаимодействие с командой платформы инференса/ML: понимание необходимых им конфигураций кластеров — топологии, межсоединений, ограничений планирования — и их кодирование в виде первоклассных абстракций на платформе.
• Инженерия как программное обеспечение: строгая типизация, автоматизированные тесты, ревью кода, версионирование и CI/CD для инфраструктурного кода — это продукт, а не набор Ansible плейбуков.

Требования

Основные требования (все уровни):

• Прочный опыт разработки программного обеспечения на Go, Python, Rust или аналогичных языках — вы пишете и тестируете настоящее программное обеспечение для жизни.
• Опыт работы с инструментами оркестрации надежных рабочих процессов, такими как Temporal, Cadence или их эквиваленты, для выполнения длительных рабочих процессов, управляемых манифестами, которые переживают сбои и возобновляются в середине выполнения.
• Опыт создания программных управляющих уровней или систем оркестрации, которые моделируют состояние и со временем согласовывают его (например, контроллеры/операторы Kubernetes, пользовательские циклы согласования, движки рабочих процессов).
• Опыт работы с системами, управляемыми событиями — проектирование и создание программного обеспечения вокруг очередей сообщений, потоков событий или pub/sub (например, Kafka, NATS, SQS) вместо опросных или cron-зависимых скриптов.
• Продуктовое мышление. Вы создавали внутренние платформы или API, используемые другими инженерными командами, и заботитесь об удобстве разработчиков того, что вы выпускаете.

Желательно:

• Опыт работы с развертыванием bare-metal (PXE/iPXE, Redfish/IPMI, BMC) и/или основы сетевых технологий (VLAN, BGP, дизайн фабрики), или GPU/акселераторная инфраструктура.
• Опыт работы со стеками программного обеспечения GPU-кластеров (NCCL, CUDA, InfiniBand/RoCE).
• Предыдущий опыт работы в hyperscaler, GPU cloud или организации с инфраструктурой масштаба дата-центра.
• Системное программирование на Rust или Go.

О Together AI

Together AI, AI Native Cloud, создан специально для AI-инженеров. Разработчики AI-приложений получают высокопроизводительный инференс, который надежно масштабируется, fine-tuning и reinforcement learning для создания специализированных моделей передового уровня, и pre-training в огромном масштабе для полностью кастомного интеллекта, и все это вокруг торговой площадки ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Together, которому доверяют Cursor, Decagon, ElevenLabs, Salesforce и Zoom, обрабатывает более 400 триллионов токенов в месяц.

Равные возможности

Together AI является работодателем, предоставляющим равные возможности, и с гордостью предлагает равные возможности трудоустройства всем, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.

Пожалуйста, ознакомьтесь с нашей политикой конфиденциальности по адресу