Инженер по высокопроизводительным вычислительным системам хранения данных отвечает в первую очередь за общее состояние и обслуживание технологий хранения данных в средах клиентов наших управляемых сервисов. Наши инженеры по хранению данных являются ценными членами практики инфраструктуры управляемых сервисов, отвечающими за управление инцидентами Уровня 3, управление запросами на обслуживание и поддержку инфраструктуры управления изменениями для всех клиентов управляемых сервисов.
Ключевые обязанности
- Обеспечение операционной поддержки корпоративного уровня для клиентов управляемых сервисов в рамках мероприятий по управлению инцидентами, проблемами и изменениями
- Администрирование параллельных и распределенных файловых систем, таких как Lustre, GPFS, BeeGFS, Ceph, Weka или Vast
- Оптимизация производительности хранилища, пропускной способности, операций с метаданными и локализации данных для обучения и инференса ИИ
- Создание и поддержка автоматизации для предоставления хранилища, мониторинга, оповещения, управления квотами и операциями жизненного цикла
- Планирование и проведение мероприятий по техническому обслуживанию
- Оценка сред клиентов на предмет проблем с производительностью и проектированием и предложение решений
- Работа с техническими группами для устранения сложных инфраструктурных проблем
- Создание и ведение подробной документации
- Выступление в качестве эксперта-предметника и точки эскалации для технологий хранения данных
- Работа с поставщиками для решения проблем хранения данных
- Прозрачное общение с клиентами и внутренней командой
- Поддержка рабочих процессов перемещения данных, включая ввод, репликацию, кэширование, тиринг и архивирование
- Устранение узких мест в хранилищах, Linux, сетях и операциях ввода-вывода в кластерах хранения и сетях
- Сотрудничество с командами инфраструктуры, платформы и исследований для поддержки производственных рабочих нагрузок ИИ/HPC
- Оценка новых архитектур и технологий хранения данных на предмет масштабируемости, отказоустойчивости и экономической эффективности
- Прозрачное общение с клиентами и внутренней командой
- Участие в дежурстве по вызову
Требуемые квалификации
Требуемые навыки - Хранение данных - Vast, Ceph, EMC, Pure, Netapp | Параллельные системы хранения данных | Администрирование Linux | Опыт работы с HPC/AI ML | Высокоскоростные сети с RDMA и InfiniBand | MSP очень желателен | ITIL очень желателен
- Более 5 лет опыта работы с HPC, ИИ-инфраструктурой или крупномасштабными инженерными решениями в области хранения данных
- Степень бакалавра или эквивалент в области информационных систем или смежной области. Уникальное образование, специализированный опыт, навыки, знания, обучение или сертификация могут быть заменены образованием
- Богатый опыт администрирования систем Linux
- Практический опыт настройки, управления и оптимизации распределенных или параллельных файловых систем
- Опыт оптимизации хранения данных для чувствительных к производительности рабочих нагрузок
- Знание планировщиков HPC, таких как Slurm, и/или платформ контейнеризации, таких как Kubernetes
- Знакомство с высокоскоростными интерконнектами, такими как InfiniBand или RDMA
- Способность устранять сложные проблемы в слоях хранения, вычислений и сетей
- Понимание механизмов защиты данных, включая репликацию данных, стратегии резервного копирования и аварийное восстановление в средах HPC
- Опыт работы с рабочими процессами машинного обучения или науки о данных в средах HPC
- Опыт работы в управляемых сервисах или консалтинге
- Прочный опыт обслуживания клиентов
- Высокий уровень навыков решения проблем и коммуникации
- Отличные устные и письменные коммуникативные навыки
- Опыт работы в управляемых сервисах или консалтинге
Предпочтительные квалификации
- Опыт поддержки решений для хранения данных для кластеров GPU и рабочих процессов AI/ML
- Знакомство с объектными хранилищами, такими как S3, MinIO или Ceph Object Gateway
- Опыт работы с Terraform, Ansible, Helm или GitOps рабочими процессами
- Знание платформ наблюдаемости, таких как Prometheus и Grafana
- Опыт работы с средами объемом в несколько петабайт, архитектурами кэширования и изоляцией хранилищ в многопользовательских системах
- Опыт работы с рабочими процессами машинного обучения или науки о данных в средах HPC
- Опыт написания скриптов или программирования на Python и Bash
- Соответствующие сертификаты по хранению данных являются бонусом
