Мы ищем руководителя группы ML-инфраструктуры для управления ML-инфраструктурой, которая обеспечивает наши исследования в области глубокого обучения и торговлю. Это одна из самых важных ролей в компании. Поскольку стратегии глубокого обучения становятся все более центральным драйвером бизнеса с каждым годом, команда, которую вы возглавите, будет масштабировать свое влияние на все основные рынки и классы активов — позволяя нашим исследователям быстрее итерировать и надежно внедрять свои идеи в производство. В то время как руководитель группы исследований глубокого обучения определяет повестку дня исследований, вы будете отвечать за платформу: фреймворк обучения, конвейеры наборов данных, эффективность вычислений и инструментарий выпуска, которые превращают прототипы исследований в готовые к производству ML-модели.

Обязанности

• Руководить разработкой нашей внутренней ML-платформы — фреймворка обучения, конвейеров наборов данных и данных, оркестрации, инструментария отслеживания экспериментов и воспроизводимости, инфраструктуры GPU/вычислений и инструментария выпуска — которая обеспечивает наши стратегии глубокого обучения на всех рынках;
• Отвечать за сквозную производительность крупномасштабного обучения моделей: использование кластера GPU, MFU, время обучения, надежность и воспроизводимость моделей из мастера;
• Формировать техническую повестку дня команды: определять узкие места, расставлять приоритеты улучшений и добиваться измеримых инфраструктурных успехов (например, 10% ускорение обучения на нашем кластере эквивалентно миллионам евро вычислительной мощности);
• Руководить инженерами с различными профилями: нанимать, мотивировать, развивать и удерживать таланты, включая инженеров по производительности ML, инженеров по инфраструктуре Python и разработчиков инструментария;
• Сделать платформу быстрой, прозрачной и ориентированной на ценность для исследователей — сократить циклы итераций и устранить инфраструктурные препятствия в рабочих процессах исследований;
• Непосредственно кодировать и вносить вклад в ML-платформу, а не только контролировать;
• Тесно сотрудничать с исследователями глубокого обучения на стыке исследований/инфраструктуры — проводить обзор кода для общего кода обучения и наборов данных, отлаживать невоспроизводимые модели, обеспечивать наблюдаемость качества данных и моделей, а также готовность к выпуску;

Требования

• Мотивированный, разносторонний ML/инфраструктурный инженер с опытом технического руководства командами, создающими платформы для ML-исследователей;
• Глубокие знания как минимум в одной из областей: крупномасштабные системы обучения ML, инженерия производительности GPU (PyTorch, Triton, CUDA), распределенное обучение, инфраструктура конвейеров данных и ML (форматы хранения, оркестрация, отслеживание экспериментов, конфигурация);
• Практический опыт ускорения ML-исследований в производственной или крупномасштабной исследовательской среде — сокращение времени обучения, улучшение использования оборудования или сокращение циклов обратной связи для исследователей (например, более быстрый доступ к данным, лучший инструментарий для экспериментов, более надежные конвейеры);
• Сильное чувство ответственности: готовность брать на себя ответственность за качество кода, воспроизводимость и наблюдаемость в большой общей кодовой базе ML — не только за реактивные исправления, но и за проактивный поиск ошибок, сокращение технического долга и строгий обзор кода;
• Лидер, способный поддерживать высокий темп, одновременно развивая здоровую, поддерживающую командную культуру, и способный давать четкую, ориентированную на рост обратную связь;
• Способность эффективно работать на стыке глубокого обучения/инфраструктуры — учитывать исследовательские приоритеты и преобразовывать их в инфраструктурную работу, которая со временем накапливается;
• Хотя предыдущий опыт торговли может быть полезен, он не является обязательным. Наш приоритет — это мышление, основанное на первых принципах, и готовность переосмыслить то, как все делается в области инфраструктуры количественных ML.