Senior Storage Engineer

Runware — это платформа для инференса ИИ, которая создает и использует собственную инфраструктуру от начала до конца. Наш Sonic Inference Engine обработал более 20 миллиардов запросов для более чем 1 миллиона разработчиков и 500 миллионов конечных пользователей, обслуживая более 400 000 моделей через единую интеграцию, при стоимости за токен до 10 раз ниже, чем у традиционных поставщиков. Сейчас мы создаем AI Factory, которая будет управлять всем этим. Sonic Inference Pod объединяет 1 МВт пользовательских вычислительных мощностей в 20-футовый контейнер с замкнутым контуром бесшумного жидкостного охлаждения, который можно разместить везде, где есть доступ к электроэнергии. Наши Pod'ы уже работают в США и Европе, и мы масштабируемся до десятков Pod'ов и десятков тысяч GPU, работающих как единая распределенная система, которая перенаправляет трафик в момент отключения Pod'а. Каждая из этих 400 000 моделей должна быть загружена на нужный GPU, в нужный Pod, за секунды. Хранилище делает это возможным. В этом и заключается работа.

Роль В качестве старшего инженера по хранилищам (Senior Storage Engineer) вы будете отвечать за архитектуру хранилищ суперкомпьютера Runware для ИИ: как веса моделей, кэши и данные клиентов перемещаются из объектного хранилища на двух континентах в NVMe и память GPU узла, который в них нуждается. Вы будете проектировать путь данных, создавать первую версию своими руками и устанавливать стандарты для работы хранилищ во всех Pod'ах. Это практическая роль старшего индивидуального контрибьютора. Вы будете определять системы, тестировать их на реальном оборудовании, выяснять причину, почему 70-гигабайтный чекпойнт загружался четыре минуты вместо двадцати секунд, а затем устранять корень проблемы, чтобы это больше никогда не повторилось. Вы будете напрямую работать с нашими командами, отвечающими за инференс-движок, платформу и оборудование, с нашими поставщиками хранилищ и NVMe, а также с командами на местах, которые развертывают Pod'ы. Успех означает, что холодная модель загружается на GPU в любом месте парка оборудования за секунды, новый Pod получает свой рабочий набор данных подогретым до начала обработки трафика, а сбой диска, узла или целого сайта незаметен для разработчика, вызывающего наш API.

Отвечать за сквозную архитектуру хранилищ для всего парка оборудования: надежное объектное хранилище, в котором хранятся более 400 000 моделей, высокопроизводительный уровень для каждого Pod'а, который питает GPU, локальный NVMe-кэш узла и логику репликации и размещения, связывающую их вместе по США и Европе. Проектировать и создавать путь распределения моделей. Определять, как веса перемещаются от источника истины к Pod'у, как они разбиваются на части, дедуплицируются, предзагружаются и закрепляются, и как новый Pod подогревает свой рабочий набор данных до начала обработки производственного трафика. Снижать задержку загрузки моделей и поддерживать ее на низком уровне. Профилировать полный путь от диска до памяти GPU, включая ядро, файловую систему, NVMe-oF или RDMA-транспорт, GPUDirect Storage и загрузчик инференс-движка, и устранять узкие места, где бы они ни находились. Выбирать, тестировать и эксплуатировать сами системы хранения данных: параллельные и распределенные файловые системы, объектные хранилища, NVMe-диски и корпуса, а также программное обеспечение, которое ими управляет. Проверять каждый выбор на нашем оборудовании перед отправкой в Pod. Устанавливать и достигать целевых показателей надежности и долговечности. Отвечать за планирование мощностей, мониторинг, оповещение, состояние дисков и прогнозирование сбоев, поведение при восстановлении, резервное копирование и восстановление, а также дежурства по уровню хранилищ. Сделать хранилища стандартной частью подготовки Pod'а: документированный, автоматизированный плейбук, чтобы уровень хранилищ следующего 1 МВт Pod'а был подготовлен, проверен и заполнен данными за часы, а не за недели. Взаимодействовать с командами инференс-движка, платформы и инженерами по оборудованию, чтобы то, что мы проектируем, было операционно пригодным в больших масштабах, и передавать полученные знания из эксплуатации в следующее поколение серверов и Pod'ов. Использовать ИИ для ускорения работы: автоматизировать тесты, рабочие процедуры, триаж и инструменты с помощью агентов на основе LLM, чтобы небольшая команда могла управлять хранилищами для большого парка оборудования. Отвечать за размещение данных и операционную сторону безопасности хранилищ: шифрование при хранении, контроль доступа, хранение и размещение в стране для суверенных развертываний.

Что мы ищем 8+ лет опыта в области хранения данных или системной инженерии, причем несколько из них — в проектировании и эксплуатации хранилищ в компании, которая управляет собственным оборудованием в больших масштабах. Опыт создания систем хранения данных, а не только эксплуатации того, что построил кто-то другой. Вы довели проект от идеи до петабайтов в продакшене и знаете, что может пойти не так между этими этапами. Глубокие, актуальные, практические знания Linux в области хранения данных: блочный уровень, очереди io_uring и NVMe, файловые системы, такие как XFS, ext4 и ZFS, кэш страниц и инструменты для точного определения времени, которое I/O проводит в системе. Реальный опыт работы с как минимум одной параллельной или распределенной файловой системой в продакшене (Lustre, WEKA, VAST, GPFS, Ceph или аналогичной) и с объектным хранилищем, совместимым с S3, в петабайтном масштабе. Глубокое понимание NVMe, NVMe-oF, RDMA-транспортов и сетей, по которым передаются данные хранилищ. Вы сможете отличить перегруженный PCIe-канал от медленного диска или неправильно сконфигурированного коммутатора. Свободное владение системным языком программирования (Go, Rust или C/C++) и Python, и уверенность в написании собственных инструментов, тестов и автоматизации, а не ожидание, пока это сделает кто-то другой. Вы ежедневно используете ИИ для ускорения своей работы: для написания скриптов, тестирования, анализа, документирования и отладки, и у вас есть четкое представление о том, как небольшая команда, вооруженная этими инструментами, должна работать иначе. Уверенность в принятии решений в быстро меняющейся, неопределенной среде, принятии решений при неполной информации и ответственности за задержку, долговечность и стоимость. Готовность к командировкам по объектам в США и Европе по мере необходимости.

Что мы предлагаем Редкая возможность: спроектировать слой хранения данных суперкомпьютера для ИИ с нуля в компании, чей бизнес зависит от того, чтобы делать это лучше, чем кто-либо другой, с соответствующим бюджетом на оборудование и поддержкой. Значительные опционы на акции. Мы — распределенная команда, встречающаяся лично дважды в год для планирования, мозгового штурма и празднования успехов. Мы соблюдаем основные часы для совместной работы и звонков; вне этого времени вы сами устанавливаете свой график. Наши циклы выпуска быстрые и напряженные, за которыми следует реальный простой. Мы ожидаем, что вы будете им пользоваться. Щедро оплачиваемый отпуск, включая отпуск по беременности и родам, отпуск по болезни и государственные праздники. Оплачиваемый отпуск по уходу за ребенком для матери, отца и опекунов. Дважды в год — выездные мероприятия компании в живописных местах.