Должность: Специалист технического отдела (Инженер по инфраструктуре ИИ)
Компания: Perplexity
Местоположение: Лондон / Гибридный / Удаленный
Мы ищем инженера по инфраструктуре ИИ, который присоединится к нашей растущей команде. Мы работаем с Kubernetes, Slurm, Python, C++, PyTorch и в основном в AWS. В качестве инженера по инфраструктуре ИИ вы будете тесно сотрудничать с нашими командами по инференсу и исследованиям для создания, развертывания и оптимизации наших крупномасштабных кластеров для обучения и инференса ИИ.
ОБЯЗАННОСТИ
- Проектирование, развертывание и поддержка масштабируемых кластеров Kubernetes для рабочих нагрузок инференса и обучения моделей ИИ
- Управление и оптимизация HPC-сред на базе Slurm для распределенного обучения больших языковых моделей
- Разработка надежных API и систем оркестрации как для конвейеров обучения, так и для сервисов инференса
- Внедрение систем планирования ресурсов и управления заданиями в гетерогенных вычислительных средах
- Бенчмаркинг производительности системы, диагностика узких мест и внедрение улучшений как в инфраструктуру обучения, так и в инфраструктуру инференса
- Создание решений для мониторинга, оповещения и наблюдаемости, адаптированных для ML-нагрузок, работающих на Kubernetes и Slurm
- Быстрое реагирование на сбои системы и сотрудничество между командами для поддержания высокой доступности критически важных процессов обучения и сервисов инференса
- Оптимизация использования кластера и внедрение стратегий автомасштабирования для динамических потребностей рабочей нагрузки
КВАЛИФИКАЦИИ
- Глубокие знания администрирования Kubernetes, включая пользовательские определения ресурсов, операторы и управление кластером
- Практический опыт работы с системой управления рабочими нагрузками Slurm, включая планирование заданий, распределение ресурсов и оптимизацию кластера
- Опыт развертывания и управления распределенными системами обучения в масштабе
- Глубокое понимание оркестрации контейнеров и архитектуры распределенных систем
- Высокий уровень знакомства с архитектурой LLM и процессами обучения (Multi-Head Attention, Multi/Grouped-Query, стратегии распределенного обучения)
- Опыт управления GPU-кластерами и оптимизации использования вычислительных ресурсов
ТРЕБУЕМЫЕ НАВЫКИ
- Экспертное администрирование Kubernetes и управление конфигурациями YAML
- Владение планированием заданий Slurm, управлением ресурсами и конфигурацией кластера
- Программирование на Python и C++ с упором на автоматизацию систем и инфраструктуры
- Практический опыт работы с ML-фреймворками, такими как PyTorch, в контексте распределенного обучения
- Глубокое понимание сетевых технологий, хранилищ данных и управления вычислительными ресурсами для ML-нагрузок
- Опыт разработки API и управления распределенными системами как для пакетных, так и для реальных рабочих нагрузок
- Солидные навыки отладки и мониторинга с опытом работы с инструментами наблюдаемости для контейнеризованных сред
ПРЕДПОЧТИТЕЛЬНЫЕ НАВЫКИ
- Опыт работы с операторами Kubernetes и пользовательскими контроллерами для ML-нагрузок
- Продвинутое администрирование Slurm, включая федерацию нескольких кластеров и продвинутые политики планирования
- Знакомство с управлением GPU-кластерами и оптимизацией CUDA
- Опыт работы с другими ML-фреймворками, такими как TensorFlow, или библиотеками для распределенного обучения
- Опыт работы в HPC-средах, параллельных вычислениях и высокопроизводительных сетях
- Знание подхода Infrastructure as Code (Terraform, Ansible) и практик GitOps
- Опыт работы с реестрами контейнеров, оптимизацией образов и многоэтапными сборками для ML-нагрузок
ТРЕБУЕМЫЙ ОПЫТ
- Подтвержденный опыт управления крупномасштабными развертываниями Kubernetes в производственных средах
- Доказанный опыт администрирования кластеров Slurm и управления HPC-нагрузками
- Предыдущий опыт работы на позициях SRE, DevOps или Platform Engineering с фокусом на ML-инфраструктуре
- Опыт поддержки как длительных заданий обучения, так и высокодоступных сервисов инференса
- В идеале, 3-5 лет соответствующего опыта в развертывании ML-систем с особым упором на оркестрацию кластеров и управление ресурсами
