Senior AI Researcher- Pre-training (f/m/d)

Заголовок: Старший исследователь ИИ — предварительное обучение (м/ж/д) Местоположение: Гейдельберг / Гибридный формат

НАША МИССИЯ

Aleph Alpha — одна из немногих компаний в Европе, занимающихся серьезным предварительным обучением фундаментальных моделей, таких как наша недавно выпущенная модель Kolibri-1. Наши клиенты — в финансовом секторе, производстве, государственном управлении — нуждаются в моделях, которые понимают немецкий язык, соответствуют европейским нормативным требованиям и надежно работают в ответственных сценариях. Мы создаем это в Гейдельберге.

Мы нанимаем старшего исследователя ИИ для нашей команды предварительного обучения, который будет развивать архитектуру и обучение наших фундаментальных моделей следующего поколения. Если вы хотите заниматься разработкой эффективных с точки зрения вычислений архитектур, оптимизацией рецептов обучения, которые надежно масштабируются, и обучением моделей на кластере большого масштаба (тысячи GPU NVIDIA Blackwell), мы будем рады услышать от вас.

КУЛЬТУРА КОМАНДЫ

Мы поддерживаем культуру, основанную на ответственности, автономии и расширении прав и возможностей. Команды и индивидуальные сотрудники могут брать на себя ответственность за свою работу и добиваться значимого влияния. Мы поддерживаем плоскую организационную структуру с эффективным, поддерживающим руководством, которое обеспечивает быстрое принятие решений, открытое общение и сильное чувство общей цели. Мы тесно сотрудничаем над сложными техническими проблемами, работая в парах или используя моб-программирование для решения сложных задач.

О РОЛИ

В качестве старшего исследователя ИИ в области предварительного обучения (м/ж/д) вы будете отвечать за критически важные технические рычаги, определяющие успех наших моделей следующего поколения: архитектуру, оптимизацию, стабильность и масштабирование.

Работая на пересечении исследований и инженерии с высоким потенциалом, вы будете преобразовывать математические рассуждения и эмпирические наблюдения в обоснованные решения по обучению — от маломасштабных прокси-экспериментов до многотысячных запусков GPU.

Мы ищем эксперта, который сможет сочетать строгий экспериментальный дизайн с высококачественным производственным кодом, напрямую влияя на качество моделей, надежность запусков и эффективность поставляемых нами моделей.

ВАШИ ОБЯЗАННОСТИ

• Оптимизация рецептов и архитектур: Ответственность за основные элементы рецепта обучения (оптимизаторы, расписания, инициализация) и разработка архитектурных улучшений на основе PyTorch для максимизации конвергенции, стабильности и эффективности обучения.

• Стратегия масштабирования и предсказуемость: Разработка законов масштабирования гиперпараметров и методологий масштабирования, использование маломасштабных прокси-экспериментов для надежного прогнозирования поведения многотысячных GPU и снижения рисков при принятии ключевых решений по обучению.

• Стабильность, диагностика и отладка: Исследование сложных проблем конвергенции (всплески потерь, расхождение) и устранение трудновоспроизводимых сбоев распределенных систем, таких как узкие места в связи, условия гонки и ошибки синхронизации.

• Совместное проектирование систем и моделей: Партнерство с командами по производительности вычислений, данным, оценке и пост-обучению для согласования жизненного цикла модели с аппаратными ограничениями, пропускной способностью памяти и топологиями связи.

ОСНОВНЫЕ КВАЛИФИКАЦИИ

• Вы владеете Python и глубоко знакомы с рабочими процессами обучения на основе PyTorch.

• Вы имеете сильный послужной список в области исследований и разработки программного обеспечения в области машинного обучения, подтвержденный выпущенными моделями, значимым вкладом в open-source или опубликованными исследованиями.

• Вы имеете прочную математическую базу и комфортно рассуждаете формально об оптимизации, поведении масштабирования и динамике обучения.

• Вы глубоко понимаете динамику обучения трансформеров, оптимизацию и поведение крупных распределенных заданий по обучению.

• Вы можете проектировать строгие эксперименты, ясно рассуждать на основе шумных результатов и преобразовывать эмпирические наблюдения в надежные решения по обучению.

• Практический опыт предварительного обучения больших моделей (например, с более чем 7 миллиардами параметров) на существенной инфраструктуре (например, кластеры с более чем 100 GPU).

• Вы применяете сильные практики разработки программного обеспечения, включая написание поддерживаемого, хорошо протестированного кода и поддержку воспроизводимых рабочих процессов экспериментов.

• Вы способны эффективно и надежно реализовывать сложные архитектуры моделей и отлаживать сложные проблемы в коде модели, динамике обучения и распределенных системах.

• Вы эффективно сотрудничаете в команде исследователей и инженеров и четко общаетесь о своей работе в рамках команды предварительного обучения и более широкой организации AAR/AA.

• Вы имеете право работать в Германии и регулярно сотрудничать на месте в Гейдельберге в составе команды предварительного обучения.

ПРЕДПОЧТИТЕЛЬНЫЕ КВАЛИФИКАЦИИ

• Масштабное обучение: Практический опыт обучения LLM или мультимодальных моделей на больших кластерах GPU с использованием распределенных фреймворков (например, Megatron-LM, DeepSpeed, torchtitan).

• Прогнозируемое масштабирование: Знакомство с законами масштабирования, передачей гиперпараметров или методами прогнозирования крупномасштабного поведения обучения на основе меньших прокси-запусков.

• Стабильность и производительность: Опыт профилирования распределенных заданий и диагностики аномалий обучения, таких как всплески потерь, численная нестабильность или патологии оптимизатора.

• Передовые архитектуры: Опыт работы со схемами разреженного обучения (например, Mixture-of-Experts) и понимание их компромиссов с точки зрения маршрутизации и систем.

• История достижений: Подтвержденное исследовательское превосходство через публикации в ведущих журналах (NeurIPS, ICML, ICLR), значимый вклад в open-source или значительную техническую работу.

• Системное любопытство: Низкоуровневая оптимизация ядра не требуется, но мы высоко ценим сильное любопытство к аппаратным и системным ограничениям, которые формируют масштаб.

Что мы предлагаем

• Станьте частью ИИ-революции!

• 30 дней оплачиваемого отпуска

• Доступ к различным предложениям в области фитнеса и оздоровления через Wellhub

• Поддержка психического здоровья через nilo.health

• Субсидируемый корпоративный пенсионный план для вашей будущей безопасности

• Субсидируемый проездной билет по всей Германии

• Бюджет на дополнительное техническое оборудование

• Гибкий график работы для лучшего баланса между работой и личной жизнью и гибридная модель работы

• Лизинг велосипедов JobRad®