Senior ML Engineer | Kimchi (Inference Stack Optimization)

Пропускная способность. Задержка. Время холодного старта. Стоимость за токен. Измените эти четыре показателя в нужном направлении, и произойдет две вещи: клиенты получат более быстрый и дешевый инференс, а наша маржа улучшится. В этом вся суть данной роли. Каждый настроенный вами загрузчик, каждое принятое решение по планировщику, каждый проанализированный вами ядро влияют на p99 наших клиентов и на наш P&L. Ваша задача — оптимизация стека инференса, чего бы это ни стоило, а техническое направление того, как мы будем его оптимизировать, вы должны будете отстаивать с помощью данных.

Проблема: чекпоинты занимают от 0,3 до 1,5 ТБ, и «правильная» конфигурация обслуживания зависит от формы трафика, распределения длины последовательности, динамики пакетов, SKU GPU, пропускной способности памяти и допустимой погрешности квантования — все это переменные, которые меняются неделю за неделей. Большинство команд выбирают конфигурацию один раз, избыточно выделяют GPU и покрывают расходы. Мы так не делаем: мы сократили время холодного старта до рабочего состояния для Kimi-K3 (1,5 ТБ) с более чем часа до менее чем двенадцати минут с помощью общей файловой системы, загрузчиков весов O_DIRECT и локальных JIT-кэшей узлов, и мы далеко не закончили. Следующие шаги — разделение Prefill/Decode и многоуровневые KV-кэши.

За API инференса Kimchi стоит механизм, которым вы будете владеть: движки SGLang и vLLM, узлы B300, общая файловая система кластера, которая хранит каждый чекпоинт ровно один раз, KV-кэши, обслуживающие кодирующий трафик с интенсивным повторным использованием префиксов, и система тестирования, которая контролирует каждое изменение, которое мы выпускаем.

Стек

Python; SGLang; vLLM; TensorRT-LLM; PyTorch; fastsafetensors; инструменты, смежные с CUDA; Kubernetes; общие файловые системы virtiofs; ClickHouse; OpenTelemetry; Prometheus; Grafana; GitLab CI.

• Повышение пропускной способности. Непрерывная пакетная обработка, предварительное заполнение чанками, спекулятивное декодирование с использованием черновиков моделей, захват CUDA-graph и настройка планировщика для всего парка движков. Найдите предел для каждого SKU GPU, а затем поднимите его
• Снижение задержки. Атакуйте TTFT и междекпоинтную задержку по отдельности; профилируйте, чтобы найти фактическое узкое место (вычисления, пропускная способность памяти, планирование, хранение или сеть) и устраните его, а не то, которое вы предполагали
• Максимальное использование KV-кэша. Иерархическое и страничное внимание, кэширование префиксов для трафика с интенсивным повторным использованием, политики вытеснения, квантованный KV. Здесь скрыта большая часть нереализованной пропускной способности, и вы будете за нее отвечать
• Устранение холодных стартов. Загрузчики весов (O_DIRECT, класс fastsafetensors), JIT- и компиляционные кэши, пути чтения общей файловой системы. 1,5 ТБ чекпоинта не должны требовать часа для достижения рабочего состояния
• Квантование без регрессии качества. INT8/INT4, FP8/FP4 для весов, активаций и KV, измеренное на реальных рабочих нагрузках, а не только на бенчмарках перплексии
• Масштабирование по узлам. Топологии распределенного инференса, размещение с учетом сети, разделение префиксного заполнения/декодирования, стратегии чекпоинтинга, которые не создают узких мест в хранилище или межсоединении
• Определение технического направления. Решайте, что мы тестируем, что внедряем, а что строим сами. Вовлекайте команду с помощью убедительных отчетов и воспроизводимых экспериментов

• У вас есть 5+ лет опыта создания реальных ML-систем, и ваше портфолио демонстрирует глубокие знания в области инфраструктуры инференса или обучения, а не только ноутбуков для обучения моделей
• Ваш Python соответствует производственным стандартам: сервисы, а не скрипты
• Вы реально работали с vLLM, SGLang или TensorRT-LLM и у вас есть рабочая ментальная модель того, почему движок работает так, а не иначе на данном GPU
• Вы измеряли регрессии квантования, а не только коэффициенты сжатия
• Настройка многопроцессорных и многоузловых систем не вызывает у вас страха: тензорный и экспертный параллелизм, коллективные коммуникации и их реальные сбои
• Вы знаете, где находятся байты (кэши страниц, O_DIRECT, сетевые файловые системы при чтении в масштабах терабайт) и как быстро они перемещаются
• Вы инструментируете систему перед оптимизацией и можете отличить реальный выигрыш от артефакта бенчмарка
• Широкий мандат вас волнует больше, чем пугает

Тип занятости: Полная занятость

• Конкурентоспособная заработная плата (в зависимости от уровня опыта)
• Гибкая, удаленная работа в глобальном масштабе
• Сотрудничество с глобальной командой экспертов в области облачных технологий и новаторов, увлеченных расширением границ технологий Kubernetes
• Опционы на акции
• Быстрый рабочий процесс с оперативной обратной связью. Большинство проектных задач выполняются за 1–4 недели
• 10% рабочего времени на личные проекты или самосовершенствование
• Бюджет на обучение для профессионального и личного развития, включая доступ к международным конференциям и курсам
• Ежегодный хакатон для зарождения новых идей и укрепления командных связей
• Бюджет на тимбилдинг и корпоративные мероприятия
• Бюджет на оборудование
• Дополнительные выходные дни для поддержания здорового баланса между работой и личной жизнью