Machine Learning Performance Engineer

Мы ищем инженера с опытом низкоуровневого системного программирования и оптимизации для присоединения к нашей растущей ML-команде. Машинное обучение — важнейшая основа глобального бизнеса Jane Street. Наша постоянно развивающаяся торговая среда служит уникальной платформой с быстрой обратной связью для экспериментов в области ML, позволяя нам относительно легко внедрять новые идеи. Ваша роль здесь — оптимизация производительности наших моделей — как обучения, так и инференса. Нас волнует эффективное крупномасштабное обучение, низколатентный инференс в системах реального времени и высокопроизводительный инференс в исследованиях. Часть этого — улучшение стандартного CUDA, но более интересная часть требует комплексного подхода ко всей системе, включая системы хранения данных, сети и соображения на уровне хоста и GPU. Заглядывая глубже, мы также хотим убедиться, что наша платформа имеет смысл даже на самом низком уровне — действительно ли вся эта пропускная способность является полезной нагрузкой (goodput)? Действительно ли загрузка этого вектора из кэша L2 занимает так много времени? Если вы никогда не думали о карьере в финансах, вы в хорошей компании. Многие из нас были в таком же положении, прежде чем начали работать здесь. Если у вас любознательный ум и страсть к решению интересных задач, мы уверены, что вы отлично впишетесь. Нет фиксированного набора навыков, но вот некоторые из того, что мы ищем: Понимание современных методов и инструментария машинного обучения Опыт и знание систем, необходимые для полного анализа производительности процесса обучения Низкоуровневые знания GPU: PTX, SASS, warps, cooperative groups, Tensor Cores и иерархии памяти Опыт отладки и оптимизации с использованием таких инструментов, как CUDA GDB, NSight Systems, NSight Compute Знание библиотек: Triton, CUTLASS, CUB, Thrust, cuDNN и cuBLAS Интуитивное понимание характеристик задержки и пропускной способности запуска CUDA graph, арифметики тензорных ядер, синхронизации warp-level и асинхронной загрузки памяти Опыт работы с InfiniBand, RoCE, GPUDirect, PXN, оптимизацией PCIe и NVLink, и как использовать эти сетевые технологии для соединения кластеров GPU Понимание коллективных алгоритмов, поддерживающих распределенное обучение GPU в NCCL или MPI Изобретательный подход и готовность задавать сложные вопросы о том, правильно ли мы выбираем подходы и инструменты Свободное владение английским языком Если вы рекрутинговое агентство и хотите сотрудничать с нами, пожалуйста, свяжитесь с нами по адресу контакт рекрутера.