Staff Engineer, Distributed Storage and HPC & AI Infrastructure

Должность: Штатный инженер по распределенным системам хранения данных и инфраструктуре HPC & AI Компания: Together AI Местоположение: Сан-Франциско

О роли В этой роли вы будете эксплуатировать, масштабировать и оптимизировать многопетабайтные системы хранения данных, специально разработанные для крупнейших в мире рабочих нагрузок обучения и инференса ИИ. Системы хранения данных теперь также находятся на критическом пути инференса, поэтому вы будете создавать уровни кэширования и перемещения данных, которые доставляют KV-кэш и веса моделей непосредственно в память GPU со скоростью сети. Вы будете управлять и масштабировать высокопроизводительные параллельные файловые системы и объектные хранилища, оценивать и интегрировать передовые технологии, такие как Vast, Weka, Ceph и Lustre, а также решать сложные инженерные задачи эксплуатации при экстремальной пропускной способности, низколатентных путях передачи данных и крупномасштабных операциях хранения данных в кластере. Вы также будете создавать облачные операторы хранения данных на базе Kubernetes и платформы самообслуживания, которые обеспечивают автоматическое выделение ресурсов, строгую многопользовательскую изоляцию, изоляцию производительности и принудительное применение квот в масштабе кластера. Ежедневно вы будете оптимизировать сквозные пути передачи данных для 10-50 ГБ/с на узел, проектировать многоуровневые архитектуры кэширования, реализовывать интеллектуальное предварительное извлечение и распределение весов моделей, создавать уровни выгрузки и повторного использования KV-кэша для инференса и настраивать параллельные файловые системы для рабочих нагрузок ИИ.

Обязанности Архитектурно проектировать и реализовывать техническую стратегию и дорожную карту хранения данных для Together AI, принимая высокопроизводительные архитектурные решения по мере масштабирования нашего парка GPU. Разрабатывать и масштабировать многопетабайтные системы хранения данных для ИИ/МО, интегрируя Vast, Weka и Ceph, одновременно выполняя глубокую оптимизацию затрат посредством автоматизированных политик многоуровневого хранения и управления жизненным циклом. Разрабатывать интеллектуальные архитектуры кэширования и многоуровневого хранения для достижения экстремальной производительности IOPS и сквозной пропускной способности кластера в масштабе GPU для рабочих нагрузок обучения и инференса, включая прямую доставку (RDMA) весов моделей к GPU для быстрого холодного старта и автомасштабирования. Проектировать и создавать системы выгрузки и повторного использования KV-кэша для инференса: многоуровневое хранение блоков KV между HBM GPU, памятью хоста, локальным NVMe и распределенным кэшем, обеспечивая повторное использование префиксов между запросами и узлами, а также интеграцию с движками инференса (vLLM, SGLang, TensorRT-LLM) для сокращения времени до первого токена. Настраивать изоляцию хранилища на сетевых уровнях L2/L3 для обеспечения безопасной многопользовательской изоляции корпоративного класса для клиентов хранилища. Кодировать операторы и контроллеры хранилища Kubernetes для обеспечения автоматического выделения ресурсов, абстракций самообслуживания и принудительного применения квот. Разрабатывать сквозные пути передачи данных для достижения 10+ ГБ/с на узел GPU; проектировать многоуровневое кэширование весов моделей, KV-кэша и наборов данных; настраивать параллельные файловые системы с использованием расширенного профилирования; и масштабировать инфраструктуру хранения данных на тысячи узлов. Оптимизировать сквозные пути передачи данных с помощью расширенного бенчмаркинга и профилирования, внося значительный вклад в разработку кода для проектов хранения данных и инференса с открытым исходным кодом, а также для внутренних инструментов.

Требования 8+ лет опыта в области разработки систем хранения данных, управления распределенными системами хранения данных в многопетабайтном масштабе Подтвержденный опыт создания, развертывания и эксплуатации высокопроизводительных систем хранения данных для кластеров GPU/HPC для обучения и/или инференса Опыт масштабирования систем хранения данных для инференса: выгрузка KV-кэша или разделенное хранение KV, кэширование префиксов, распределение весов моделей или аналогичные критичные к задержке пути передачи данных Глубокий опыт работы с Kubernetes и облачными системами хранения данных в производственных средах Сильные навыки программирования на Go и Python с подтвержденной способностью создавать производственные системы и инструменты Степень бакалавра/магистра в области компьютерных наук, инженерии или эквивалентный практический опыт Опыт технического лидерства: проектирование систем, которые значительно улучшили производительность, надежность (более 99,999% времени безотказной работы) или экономическую эффективность Распределенные системы хранения данных: глубокая экспертиза в Ceph, WekaFS, Lustre, Vast, GPFS или аналогичных параллельных файловых системах в многопетабайтном масштабе Объектные хранилища: опыт работы с S3, MinIO, Ceph или R2, включая оптимизацию производительности и управление затратами Хранилища Kubernetes: CSI-драйверы, StatefulSets, PersistentVolumes, операторы хранения данных и пользовательские контроллеры Оптимизация хранения данных для рабочих нагрузок GPU, сети RDMA/InfiniBand, оптимизация параллельных файловых систем (совокупная пропускная способность кластера ТБ/с — насыщение линии) Программирование: Go и Python для автоматизации, операторов и инструментов; C/C++ или Rust для критически важных по производительности путей передачи данных Инфраструктура как код: Terraform, Ansible, Helm, GitOps (ArgoCD) Стек хранения данных Linux: продвинутые знания файловых систем (ext4, xfs), LVM, оптимизации NVMe, конфигураций RAID Наблюдаемость: архитектура и эксплуатация Prometheus, Grafana, Thanos

Желательные навыки GPU Direct Storage (GDS), NVMe-oF, сетевые технологии хранения данных, реализации RDMA GPUDirect RDMA и перемещение данных без копирования (ibverbs, NIXL, UCX) и фреймворки передачи KV-кэша (например, LMCache, Mooncake, Dynamo) Паттерны хранения данных для ML/AI (веса моделей, чекпоинтинг, кэширование наборов данных, выгрузка KV-кэша и кэширование префиксов) Инструменты для бенчмаркинга и профилирования систем хранения данных (fio, iperf3, iostat, blktrace) Патенты, публикации (FAST, OSDI, SOSP, SC, ATC) или значительный вклад в проекты с открытым исходным кодом в области хранения данных или систем

О Together AI Together AI — научно-исследовательская компания в области искусственного интеллекта. Мы верим, что открытые и прозрачные системы ИИ стимулируют инновации и приносят наилучшие результаты обществу, и вместе мы стремимся значительно снизить стоимость современных систем ИИ путем совместной разработки программного обеспечения, оборудования, алгоритмов и моделей. Мы внесли свой вклад в ведущие исследования, модели и наборы данных с открытым исходным кодом для продвижения рубежей ИИ, и наша команда стояла за такими технологическими достижениями, как FlashAttention, Hyena, FlexGen и RedPajama. Мы приглашаем вас присоединиться к увлеченной группе исследователей в нашем путешествии по созданию инфраструктуры ИИ следующего поколения.

Компенсация Мы предлагаем конкурентоспособную компенсацию, опционы на акции стартапа, медицинскую страховку и другие льготы, а также гибкость в отношении удаленной работы. Диапазон базовой заработной платы в США для этой полной ставки составляет: $250 000 - $330 000 + опционы + льготы. Диапазоны заработной платы определяются местоположением, уровнем и должностью. Индивидуальная компенсация будет определяться опытом, навыками и знаниями, связанными с работой.

Равные возможности Together AI является работодателем, предоставляющим равные возможности, и гордится тем, что предоставляет равные возможности трудоустройства каждому независимо от расы, цвета кожи, родословной, религии, пола, национального происхождения, сексуальной ориентации, возраста, гражданства, семейного положения, инвалидности, гендерной идентичности, статуса ветерана и многого другого.