HPC Infrastructure Engineer - GPU Clusters

О ELEVENLABS

ElevenLabs — это исследовательская и продуктовая компания в области ИИ, трансформирующая наше взаимодействие с технологиями.

Мы запустились в январе 2023 года с первой моделью ИИ-голоса, неотличимой от человеческой. Сегодня мы обслуживаем миллионы пользователей и тысячи компаний — от быстрорастущих стартапов до крупных предприятий, таких как Deutsche Telekom и Meta. Среди наших инвесторов — одни из самых известных в мире, включая Andreessen Horowitz, ICONIQ Growth и Sequoia. Мы привлекли 781 млн долларов финансирования, а наша последняя оценка составила 22 миллиарда долларов — кратно 11, всегда.

Мы расширились от голоса до трех основных платформ:

• ElevenAgents позволяет компаниям обеспечивать бесперебойное и интеллектуальное взаимодействие с клиентами, используя интеграции, тестирование, мониторинг и надежность, необходимые для масштабирования голосовых и чат-агентов.

• ElevenCreative дает возможность создателям контента и маркетологам генерировать и редактировать речь, музыку, изображения и видео на более чем 70 языках.

• ElevenAPI предоставляет разработчикам доступ к нашим ведущим фундаментальным моделям ИИ для аудио.

Все, что мы делаем, — результат творчества и самоотдачи нашей команды — инженеров, создающих лучшую работу в своей жизни. Мы — исследователи, инженеры и операторы. Призеры олимпиад и бывшие основатели. Если вы хотите усердно работать и оказывать долгосрочное положительное влияние, мы хотим услышать от вас.

КАК МЫ РАБОТАЕМ

• Высокая скорость: Быстрое экспериментирование, гибкие автономные команды и минимальная бюрократия.

• Влияние, а не должности: У нас нет должностей. Вместо этого важен ваш вклад. Никакая задача не является слишком сложной или слишком простой для вас.

• Приоритет ИИ: Мы используем ИИ для ускорения работы и повышения качества результатов. Мы делаем это во всей компании — от инжиниринга до роста и операций.

• Превосходство во всем: Все, что мы делаем, должно соответствовать качеству наших моделей ИИ.

• Глобальная команда: Мы ценим ваш талант, а не ваше местоположение.

ЧТО МЫ ПРЕДЛАГАЕМ

• Инновационная культура: Вы станете частью уникальной возможности определить траекторию развития ИИ, работая в команде, раздвигающей границы возможного.

• Пути роста: Присоединившись к ElevenLabs, вы присоединитесь к динамичной команде с бесчисленными возможностями внести свой вклад — выходя за рамки вашей непосредственной роли и обязанностей.

• Обучение и развитие: ElevenLabs активно поддерживает профессиональное развитие, предоставляя ежегодный стипендиальный фонд.

• Социальные поездки: Мы также предоставляем ежегодный стипендиальный фонд для встреч с коллегами каждый год, как вы пожелаете.

• Ежегодный выезд компании: Каждый год мы собираем всю команду в новом месте — прошлые выезды включали Хорватию и Италию.

• Совместная работа: Если вы не находитесь рядом с одним из наших основных хабов, мы предлагаем ежемесячную стипендию на совместную работу.

О РОЛИ

Каждая обученная нами модель работает на инфраструктуре, за которую отвечает эта роль. Мы управляем кластерами GPU NVIDIA как на собственном оборудовании, так и на арендованных мощностях, и ищем инженера, который присоединится к нашей небольшой команде исследовательской инфраструктуры и сделает этот вычислительный ресурс быстрым, надежным и «скучным» — в лучшем смысле этого слова. Когда кластеры просто работают, исследования продвигаются быстрее. Ваше влияние измеряется непосредственно пропускной способностью обучения и скоростью работы исследователей.

Это роль инженера-оператора с реальным охватом: одну неделю вы пишете автоматизацию, которая устраняет целый класс ручных работ, на следующей — проводите бенчмаркинг новой сети InfiniBand от провайдера или лично устанавливаете новое оборудование. Вы получите беспрецедентный охват и автономию — мы — небольшая команда, где решения принимаются людьми, наиболее близкими к проблеме.

ЧЕМ ВЫ БУДЕТЕ ЗАНИМАТЬСЯ

• Эксплуатировать и улучшать наш парк GPU от начала до конца: предоставление ресурсов, планирование, мониторинг, обновления, планирование мощностей.

• Создавать автоматизацию, которая поддерживает парк оборудования в работоспособном состоянии без вмешательства человека — проверка работоспособности узлов, автоматическое отключение и исправление, конвейеры для «обкатки» новых мощностей.

• Отвечать за стек под кодом обучения: образы ОС, драйверы NVIDIA, CUDA, среды выполнения контейнеров, NCCL, высокоскоростные сети (InfiniBand/RoCE).

• Настраивать и оптимизировать планировщик заданий (Slurm или аналогичный), чтобы исследователи получали вычислительные ресурсы справедливо и быстро.

• Создавать и поддерживать высокопроизводительные хранилища для наборов данных и контрольных точек.

• Выявлять проблемы с производительностью: «застрявшие» задачи, деградировавшие соединения, тепловые проблемы, сбоящие GPU — и устранять класс проблемы, а не только конкретный случай.

• Оценивать арендованные мощности GPU: проводить бенчмаркинг, проверять, обеспечивать соблюдение провайдерами SLA.

• Практическая работа с оборудованием, когда это необходимо: установка в стойку, прокладка кабелей, диагностика, координация с персоналом дата-центра и поставщиками.

• Обеспечивать безопасность кластеров по умолчанию: контроль доступа, сетевая изоляция, секреты.

ТРЕБОВАНИЯ

• Опыт эксплуатации крупномасштабных сред Linux-серверов или GPU в продакшене, получение удовольствия как от разработки, так и от эксплуатации.

• Хорошее знание стека NVIDIA — драйверы, CUDA, NCCL, DCGM — или глубокий системный опыт и быстрое освоение аппаратных стеков.

• Комфортная работа с bare-metal средами, серверным оборудованием и высокоскоростными сетями.

• Написание надежной автоматизации на Python и/или Bash с использованием инструментов IaC, таких как Ansible или Terraform.

• Готовность углубляться в «шумные» данные (метрики, логи, PromQL), чтобы найти истинную причину проблемы.

• Желание брать на себя полную ответственность за реальные задачи и быть человеком, на которого полагаются другие.

• Не считать никакую задачу слишком сложной или слишком простой — включая поездки в дата-центры.

ПРИВЕТСТВУЕТСЯ

• Опыт поддержки ML-тренировочных нагрузок с точки зрения инфраструктуры (сбои распределенного обучения, паттерны сохранения контрольных точек).

• Опыт оценки и работы с облачными провайдерами GPU.

• Параллельные файловые системы (WEKA, VAST и т. д.) или крупномасштабное объектное хранилище.

• Автоматизация BMC/IPMI/Redfish, массовое предоставление ресурсов PXE.

• Понимание вопросов энергопотребления и охлаждения для плотных развертываний GPU.

МЕСТОПОЛОЖЕНИЕ

Эта должность предполагает удаленную работу и может выполняться в любой точке мира. При желании вы можете работать в наших офисах в Лондоне, Нью-Йорке, Сан-Франциско и Варшаве.

Мы являемся работодателем, предоставляющим равные возможности, и не дискриминируем по признакам расы, религии, национального происхождения, пола, сексуальной ориентации, возраста, статуса ветерана, инвалидности или других статусов, защищенных законом.