Senior Backend Engineer, Inference Platform

Название: Старший инженер бэкенда, Inference Platform Компания: Together AI Местоположение: Сан-Франциско

О роли Together AI создает Inference Platform, которая выводит самые передовые генеративные модели ИИ в мир. Наша платформа поддерживает многопользовательские бессерверные нагрузки и выделенные конечные точки, позволяя разработчикам, предприятиям и исследователям масштабно использовать новейшие LLM, мультимодальные модели, модели изображений, аудио, видео и речи. Если вы испытываете восторг от оптимизации задержки до последней миллисекунды, это ваша игровая площадка. Вы будете работать с десятками тысяч GPU (H100, H200, GB200 и более новых), выясняя, как полностью использовать каждый FLOP и каждый гигабайт памяти. Вы будете напрямую сотрудничать с исследовательскими командами, чтобы внедрять передовые модели в производство, делая прорывы практически применимыми в реальном мире. Наша команда также тесно сотрудничает с сообществом open source, внося вклад в проекты, такие как SGLang, vLLM и NVIDIA Dynamo, и используя их для расширения границ производительности и эффективности инференса. Формируйте основной бэкенд инференса, который обеспечивает работу передовых моделей Together AI. Решайте критически важные с точки зрения производительности задачи в области глобальной маршрутизации запросов, балансировки нагрузки и крупномасштабного распределения ресурсов. Работайте с современными ускорителями (H100, H200, GB200) в глобальном масштабе. Партнерствуйте с исследователями мирового класса, чтобы внедрять в производство новые архитектуры моделей. Сотрудничайте с сообществом open source и вносите в него свой вклад, формируя инструменты, которые продвигают отрасль. Культура глубокой технической ответственности и высокого влияния — где ваша работа делает модели быстрее, дешевле и доступнее. Конкурентоспособная оплата, опционы и льготы.

Обязанности Создание и оптимизация глобальной и локальной маршрутизации запросов, обеспечение низколатентной балансировки нагрузки между дата-центрами и подами движков моделей. Разработка систем авто-масштабирования для динамического выделения ресурсов и соответствия строгим SLO в десятках дата-центров. Проектирование систем для формирования трафика у нескольких арендаторов, тонкая настройка как распределения ресурсов, так и обработки запросов — включая интеллектуальное ограничение скорости и регулирование — для обеспечения справедливости и стабильного качества обслуживания для всех пользователей. Инженерный поиск компромиссов между задержкой и пропускной способностью для эффективного обслуживания различных рабочих нагрузок. Оптимизация префиксного кэширования для снижения вычислительной нагрузки модели и ускорения ответов. Сотрудничество с ML-исследователями для масштабирования внедрения новых архитектур моделей в производство. Непрерывное профилирование и анализ производительности на уровне системы для выявления узких мест и реализации оптимизаций.

Требования 5+ лет подтвержденного опыта создания крупномасштабных, отказоустойчивых, распределенных систем и микросервисов API. Глубокие знания в области проектирования, анализа и повышения эффективности, масштабируемости и стабильности сложных систем. Отличное понимание низкоуровневых концепций ОС: многопоточность, управление памятью, сетевые технологии и производительность хранилищ. Экспертный уровень программирования на одном или нескольких из следующих языков: Rust, Go, Python или TypeScript. Знание современных LLM и генеративных моделей, а также способов их предоставления в производственной среде является плюсом. Опыт работы с экосистемой open source вокруг инференса очень ценен; знакомство с SGLang, vLLM или NVIDIA Dynamo будет особенно полезно. Опыт работы с Kubernetes или оркестрацией контейнеров является большим плюсом. Знание программных стеков GPU (CUDA, Triton, NCCL) и технологий HPC (InfiniBand, NVLink, MPI) является плюсом. Степень бакалавра или магистра в области компьютерных наук, компьютерной инженерии или смежной области, или эквивалентный практический опыт.

О Together AI Together AI, AI Native Cloud, специально разработан для инженеров ИИ. Разработчики ИИ-приложений получают высокопроизводительный инференс, который надежно масштабируется, тонкую настройку и обучение с подкреплением для создания специализированных моделей передового уровня, а также предварительное обучение в огромных масштабах для полностью индивидуального интеллекта — все это на базе торговой площадки ведущих открытых моделей, которые команды могут запускать, адаптировать и владеть. Доверенный Cursor, Decagon, ElevenLabs, Salesforce и Zoom, Together обрабатывает более 400 триллионов токенов в месяц.

Компенсация Мы предлагаем конкурентоспособную оплату, опционы стартапа, медицинскую страховку и другие конкурентоспособные льготы. Диапазон базовой заработной платы в США для этой штатной должности составляет: $200 000 - $290 000 + опционы + льготы. Диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому, независимо от расы, цвета кожи, происхождения, религии, пола, национальности, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.