Senior AI R&D Engineer - Performance - Pre-training (f/m/d)

Должность: Старший инженер по исследованиям и разработкам в области ИИ - Производительность - предварительное обучение (м/ж/д) Местоположение: Гейдельберг / Гибрид

НАША МИССИЯ

Aleph Alpha — одна из немногих компаний в Европе, занимающихся серьезным предварительным обучением фундаментальных моделей, таких как наша недавно выпущенная модель Kolibri-1. Нашим клиентам — в сфере финансов, производства, государственного управления — нужны модели, которые понимают немецкий язык, соответствуют европейским нормативным требованиям и надежно работают в условиях высокого риска. Мы создаем их в Гейдельберге.

Мы ищем старшего инженера по производительности, который присоединится к нашей команде по повышению эффективности предварительного обучения. Если вы увлечены идеей ускорения работы моделей и масштабирования их до тысяч GPU, эта должность для вас!

Культура команды

В Aleph Alpha мы поддерживаем культуру, основанную на ответственности, автономии и расширении прав и возможностей. Командам и отдельным сотрудникам доверяют, чтобы они брали на себя ответственность за свою работу и добивались значимых результатов. Мы поддерживаем плоскую организационную структуру с эффективным, поддерживающим руководством, которое обеспечивает быстрое принятие решений, открытое общение и сильное чувство общей цели.

О РОЛИ:

Вы будете разрабатывать системы, необходимые для обучения фундаментальных моделей в масштабе. Ваша цель — максимально использовать аппаратные ресурсы и увеличить пропускную способность обучения на наших крупномасштабных кластерах GPU (тысячи GPU NVIDIA Blackwell). Вы будете работать на стыке фреймворков глубокого обучения, распределенных систем и микроархитектуры GPU, устраняя узкие места от уровня Python до ядра GPU.

Эта роль предназначена для Aleph Alpha Research GmbH.

Ваши обязанности:

• Комплексная оптимизация: Профилирование циклов обучения с использованием PyTorch Profiler, Nsight Systems и Nsight Compute для выявления узких мест на системном и уровне ядра с целью максимального увеличения пропускной способности модели.

• Стратегия и топология распределения: Конфигурирование и настройка составных стратегий параллелизма (например, TP, DP, HSDP/FSDP, EP), оптимизация балансировки нагрузки, минимизация узких мест критического пути и управление компромиссами между коммуникацией и вычислениями для крупномасштабного обучения LLM.

• Моделирование с учетом аппаратного обеспечения: Сотрудничество с исследователями в области ИИ для определения архитектур моделей, ориентированных на аппаратную эффективность без ущерба для сходимости.

ВАШ ПРОФИЛЬ

Базовые квалификации

• Владеете Python и библиотекой PyTorch.

• Имеете сильный инженерный опыт в области параллельных и/или распределенных систем с подтвержденным опытом превосходства.

• Имеете практический опыт работы с современными методами машинного обучения (особенно с большими языковыми моделями и их жизненным циклом).

• Глубоко понимаете модель программирования CUDA.

• Имеете опыт распределенного программирования с использованием API, таких как NCCL или MPI.

• Имеете опыт анализа трассировок профилирования с помощью таких инструментов, как PyTorch Profiler и Nvidia Nsight.

• Обратите внимание, что эта должность требует регулярного присутствия в офисе в Гейдельберге в качестве члена команды по эффективности обучения.

Предпочтительные квалификации

• Вклад в современные фреймворки распределенного обучения (например, TorchTitan, Megatron-LM, DeepSpeed).

• Знакомство с форматами обучения с низкой точностью (MXFP4, MXFP8) и их влиянием на численную стабильность и пропускную способность.

• Глубокое понимание примитивов связи NCCL, NVSHMEM или CUDA IPC и их производительности.

• Подтвержденный опыт реализации и оптимизации обучения современных моделей на основе трансформеров.

• Подтвержденный опыт работы с архитектурой NVIDIA Blackwell.

КОМПЕНСАЦИЯ И ЛЬГОТЫ

• Станьте частью ИИ-революции!

• 30 дней оплачиваемого отпуска

• Доступ к различным предложениям по фитнесу и оздоровлению через Wellhub

• Поддержка психического здоровья через nilo.health

• Субсидируемый пенсионный план компании для вашей будущей безопасности

• Субсидируемый проездной билет по всей Германии

• Бюджет на дополнительное техническое оборудование

• Гибкий график работы для лучшего баланса между работой и личной жизнью и гибридная модель работы

• Лизинг велосипедов JobRad®