Инженер-программист, LLM Inference
О роли
Наш клиент расширяет границы возможностей ИИ в реальном времени, и мы ищем инженера, который поможет нам запускать большие языковые модели с исключительной скоростью, эффективностью и надежностью в производственном масштабе.
В этой роли вы будете работать глубоко в стеке LLM inference, от планирования vLLM и управления KV-кэшем до CUDA-ядер, распределенного выполнения и профилирования GPU, оптимизируя каждую часть пути от запроса до сгенерированного токена.
Обязанности
В этой роли вы будете:
- Создавать и оптимизировать наш стек inference на основе vLLM для низкой задержки, высокой пропускной способности и максимальной утилизации GPU.
- Оптимизировать непрерывную пакетную обработку (continuous batching), планирование, prefill/decode, предварительное кэширование (prefix caching) и выделение/повторное использование KV-кэша.
- Оптимизировать или реализовывать CUDA и Triton ядра для внимания (attention), GEMM, сэмплирования (sampling), нормализации (normalization) и других критически важных операций модели.
- Оценивать и интегрировать такие технологии, как FlashAttention, FlashInfer, CUDA Graphs, torch.compile, спекулятивное декодирование (speculative decoding) и квантование (quantization).
- Оптимизировать распределенный inference, используя тензорный, data- и expert-параллелизм, NCCL, NVLink/NVSwitch и InfiniBand.
- Тесно сотрудничать с исследователями для быстрого и эффективного вывода новых архитектур плотных моделей (dense) и MoE моделей в производство.
Требования и квалификация
Вы можете преуспеть в этой роли, если вы:
- Имеете глубокий практический опыт работы с LLM inference, в идеале — работая внутри vLLM, SGLang, TensorRT-LLM или аналогичных систем, а не просто развертывая их.
- Понимаете TTFT, задержку между токенами (inter-token latency), пропускную способность, непрерывную пакетную обработку (continuous batching), PagedAttention, KV-кэширование и производительность prefill по сравнению с decode.
- Удобно чувствуете себя при профилировании GPU и анализе узких мест, связанных с вычислениями, пропускной способностью памяти, запусками ядер, синхронизацией и коммуникацией.
- Имеете опыт работы с CUDA, Triton, PyTorch, NCCL и современными архитектурами GPU NVIDIA.
- Понимаете внутреннее устройство Transformer, включая MHA/GQA, ROPE, KV-кэш, квантование и MoE.
- Имеете опыт оптимизации распределенных, критически важных по производительности систем в производственной среде.
- Глубоко заботитесь о производительности, простоте и надежности, а также берете на себя ответственность от профилирования до развертывания в производственной среде.
Почему мы
- Вы поможете создать одну из самых технически продвинутых платформ голосового ИИ в мире и будете расширять производительность LLM inference на каждом уровне стека.
- Вы будете работать напрямую с командой инженеров и исследователей мирового класса над сложными, измеримыми задачами, охватывающими модели, GPU-ядра, распределенные системы и производственную инфраструктуру.
- Вы будете иметь голос в том, как развиваются наши технологии, как растет наша компания и как ИИ трансформирует человеческое общение.
