Компенсация: 220 000–405 000 долларов США в год
Мы ищем инженера по ИИ-инфраструктуре, который присоединится к нашей растущей команде. Мы работаем с Kubernetes, Slurm, Python, C++, PyTorch и в основном с AWS. В качестве инженера по ИИ-инфраструктуре вы будете тесно сотрудничать с нашими командами по инференсу и исследованиям для создания, развертывания и оптимизации наших крупномасштабных кластеров для обучения и инференса ИИ.
ОБЯЗАННОСТИ
- Проектирование, развертывание и поддержка масштабируемых кластеров Kubernetes для рабочей нагрузки инференса и обучения моделей ИИ
- Управление и оптимизация HPC-сред на базе Slurm для распределенного обучения больших языковых моделей
- Разработка надежных API и систем оркестрации как для конвейеров обучения, так и для сервисов инференса
- Внедрение систем планирования ресурсов и управления заданиями в гетерогенных вычислительных средах
- Бенчмаркинг производительности системы, диагностика узких мест и внедрение улучшений как в инфраструктуру обучения, так и в инференс
- Создание решений для мониторинга, оповещения и наблюдаемости, адаптированных к ML-рабочей нагрузке, работающей на Kubernetes и Slurm
- Быстрое реагирование на сбои системы и сотрудничество между командами для поддержания высокого времени безотказной работы для критически важных этапов обучения и сервисов инференса
- Оптимизация использования кластера и внедрение стратегий автоматического масштабирования для динамических требований рабочей нагрузки
КВАЛИФИКАЦИЯ
- Глубокие знания администрирования Kubernetes, включая пользовательские определения ресурсов (custom resource definitions), операторы (operators) и управление кластером
- Практический опыт работы с Slurm для управления рабочей нагрузкой, включая планирование заданий, распределение ресурсов и оптимизацию кластера
- Опыт развертывания и управления распределенными системами обучения в масштабе
- Глубокое понимание оркестрации контейнеров и архитектуры распределенных систем
- Высокий уровень знакомства с архитектурой LLM и процессами обучения (Multi-Head Attention, Multi/Grouped-Query, стратегии распределенного обучения)
- Опыт управления GPU-кластерами и оптимизации использования вычислительных ресурсов
ТРЕБУЕМЫЕ НАВЫКИ
- Экспертное администрирование Kubernetes и управление конфигурацией YAML
- Опыт работы с планированием заданий Slurm, управлением ресурсами и конфигурацией кластера
- Программирование на Python и C++ с фокусом на системную автоматизацию и автоматизацию инфраструктуры
- Практический опыт работы с ML-фреймворками, такими как PyTorch, в контексте распределенного обучения
- Глубокое понимание сетевых технологий, систем хранения данных и управления вычислительными ресурсами для ML-рабочей нагрузки
- Опыт разработки API и управления распределенными системами как для пакетной, так и для оперативной обработки данных
- Надежные навыки отладки и мониторинга с опытом работы с инструментами наблюдаемости для контейнеризированных сред
ПРЕДПОЧТИТЕЛЬНЫЕ НАВЫКИ
- Опыт работы с операторами Kubernetes и пользовательскими контроллерами для ML-рабочей нагрузки
- Продвинутое администрирование Slurm, включая многокластерную федерацию и расширенные политики планирования
- Знакомство с управлением GPU-кластерами и оптимизацией CUDA
- Опыт работы с другими ML-фреймворками, такими как TensorFlow, или библиотеками распределенного обучения
- Опыт работы в HPC-средах, параллельных вычислениях и высокопроизводительных сетях
- Знание инфраструктуры как кода (Terraform, Ansible) и GitOps-практик
- Опыт работы с реестрами контейнеров, оптимизацией образов и многоэтапными сборками для ML-рабочей нагрузки
ТРЕБУЕМЫЙ ОПЫТ
- Подтвержденный опыт управления крупномасштабными развертываниями Kubernetes в производственных средах
- Доказанный опыт администрирования кластеров Slurm и управления HPC-рабочей нагрузкой
- Предыдущие роли в SRE, DevOps или Platform Engineering с фокусом на ML-инфраструктуру
- Опыт поддержки как длительных заданий обучения, так и высокодоступных сервисов инференса
- В идеале, 3–5 лет соответствующего опыта в развертывании ML-систем с особым акцентом на оркестрацию кластеров и управление ресурсами
