Software Engineer - GPU Networking & Distributed Systems

Название: Инженер-программист - Сети GPU и распределенные системы Компания: Baseten Местоположение: Сан-Франциско / Торонто / Нью-Йорк / Монреаль / Сиэтл / Гибрид

Вознаграждение: $165K - $330K в год

О BASETEN

Baseten обеспечивает работу критически важных инференс-систем для самых динамичных AI-компаний мира, таких как Cursor, Notion, OpenEvidence, Abridge, Clay, Gamma и Writer. Объединяя прикладные исследования в области ИИ, гибкую инфраструктуру и удобные инструменты для разработчиков, мы позволяем компаниям, работающим на переднем крае ИИ, выводить передовые модели в продакшн. Мы быстро растем и недавно привлекли $1,5 млрд в рамках раунда F, возглавляемого Altimeter Capital, Conviction Partners и Spark Capital. Присоединяйтесь к нам и помогите создать платформу, к которой обращаются инженеры для выпуска AI-продуктов.

РОЛЬ

В Baseten мы создаем глобальную операционную систему для распределенных, гетерогенных AI-аппаратных средств. Мы считаем, что по мере масштабирования рабочих нагрузок LLM и мультимодальных моделей сеть становится компьютером. Мы ищем инженеров для создания нашей команды, которые возглавят наши усилия в области GPU Networking, сделав RDMA первоклассным строительным блоком нашей инфраструктуры и открыв следующее поколение оптимизаций распределенного инференса.

Сети и вычисления больше не являются отдельными дисциплинами; они сливаются. Огромная пропускная способность архитектур H100, B200 и NVL72 обеспечивает и требует нового подхода, при котором связь оптимизируется совместно с вычислениями. Мы вступаем в эру, когда сеть становится активным ускорителем, использующим аппаратные разгрузки и прямые межсоединения для обеспечения того, чтобы передача данных происходила со скоростью линии.

В этой роли вы выйдете за рамки настройки сети, чтобы спроектировать программную ткань, которая объединит тысячи GPU в единую операционную систему. Хотя вы будете использовать лучшее из экосистемы с открытым исходным кодом, вы не будете ограничены ею. Там, где стандартные решения заканчиваются, вы будете создавать с нуля, разрабатывая примитивы, необходимые для совместной оптимизации связи и вычислений для Disaggregated Serving, Wide Expert Parallelism (WideEP) и ускорения холодного старта.

ОБЯЗАННОСТИ

• Сделать RDMA первоклассным решением: Вы будете работать над интеграцией возможностей RDMA/RoCE/InfiniBand непосредственно в наш стек инференса, помогая нам выйти за рамки TCP/IP для достижения многократного улучшения пропускной способности и задержки.

• Оптимизировать распределенный инференс: Вы будете реализовывать и настраивать сетевые уровни, необходимые для эффективной Disaggregated KV Cache Offload и WideEP, обеспечивая бесшовную связь через NVLink и InfiniBand для наших MoE моделей.

• Обеспечить скорость запуска LLM уровня Serverless: Вы будете глубоко работать с механизмами чекпоинтинга и хранения данных, чтобы обеспечить запуск моделей с триллионами параметров менее чем за 10 секунд.

• Глубоко изучать аппаратное обеспечение: Вы будете характеризовать и проверять производительность сети на самых передовых кластерах (H100/H200, B200/B300, GB200/300 NVL72), писать приемочные тесты, которые гарантируют, что наше оборудование обеспечивает максимальную достижимую пропускную способность и минимальную задержку.

• Создавать средства наблюдаемости: Вы будете разрабатывать инструменты, которые позволят нам визуализировать поток пакетов, перегрузки и эффективную пропускную способность в межсоединениях GPU, помогая нам диагностировать сложное поведение распределенных систем.

• Оптимизировать ядра: Вы будете работать с библиотеками связи (NCCL, NVSHMEM) и, возможно, писать собственные ядра связи для перекрытия вычислений и передачи данных.

ТРЕБОВАНИЯ

• У вас есть глубокий опыт работы с высокопроизводительными сетевыми протоколами (InfiniBand, RoCE v2) и вы понимаете физику перемещения данных.

• Вы свободно владеете C++ или Python, обладаете способностью преодолевать разрыв между высокоуровневой логикой и аппаратным обеспечением. Вы глубоко понимаете иерархию памяти в современных архитектурах NVIDIA (H100/Blackwell) и знаете, как ее оптимизировать.

• Вам нравится глубоко копать. Вы не боитесь погружаться в исходный код TensorRT-LLM, писать пользовательские привязки C++ / Python или отлаживать проблемы топологии NVLink.

• Вы знаете, когда использовать готовое решение, а когда нужно создавать собственное, потому что существующие инструменты (такие как стандартные сетевые решения Kubernetes) слишком медленны для наших нужд.

ПРИВЕТСТВУЕТСЯ

• Глубокое знание NCCL, NVSHMEM и UCX.

• Опыт работы с Rust для системного или критически важного по производительности сетевого кода является большим плюсом.

• Опыт работы с GPUDirect Storage (GDS) или высокопроизводительными файловыми системами, такими как Weka или 3FS.

• Знакомство с TensorRT-LLM, vLLM или SGLang.

• Опыт проведения низкоуровневых тестов для "квалификации" новых аппаратных кластеров.

КОМАНДА

• Передовое аппаратное обеспечение: Мы готовимся к запуску архитектур Blackwell (B200/B300), а затем Rubin. Вы будете одним из первых инженеров в отрасли, оптимизирующих сети для стоек NVL72/GB300.

• Мы копаем глубоко: Мы работаем на всех уровнях. Будь то настройка аппаратных межсоединений, написание пользовательских ядер связи или проектирование стратегий распределенного инференса, мы работаем по всему стеку, чтобы обеспечить производительность, которая выходит далеко за рамки.

• Высокое влияние: Оптимизации сети, которые вы создадите, напрямую позволят реализовать функции, которые никто другой в отрасли еще полностью не освоил, такие как бесшовный многоузловой WideEP и мгновенная гидратация моделей.

ПРЕИМУЩЕСТВА

• Конкурентоспособная компенсация, включая значительную долю в акционерном капитале.

• (Только для США) 100% покрытие медицинского, стоматологического и офтальмологического страхования для сотрудников и их иждивенцев.

• Гибкая политика PTO, включая общекорпоративный зимний отпуск (наши офисы закрыты с кануна Рождества до Нового года!).

• Оплачиваемый отпуск по уходу за ребенком.

• Стипендия на программы по борьбе с бесплодием и построению семьи через Carrot.

• (Только для США) Корпоративная поддержка 401(k).

• Знакомство с различными ML-стартапами, предлагающими беспрецедентные возможности для обучения и нетворкинга.

Подайте заявку сейчас, чтобы отправиться в увлекательное путешествие по формированию будущего ИИ! Если вы мотивированный человек со страстью к машинному обучению и желанием стать частью совместной и дальновидной команды, мы будем рады услышать от вас.

В Baseten мы стремимся к созданию разнообразной и инклюзивной рабочей среды. Мы предоставляем равные возможности трудоустройства всем сотрудникам и соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, гендерной идентичности или самовыражения, национального происхождения, возраста, генетической информации, инвалидности или статуса ветерана.

Мы являемся работодателем, предоставляющим равные возможности, и будем рассматривать кандидатов с судимостью в соответствии с применимым законодательством (например, в соответствии с требованиями Сан-Францисского постановления о справедливых шансах, где это применимо).