Описание вакансии
Чем предстоит заниматься
Пропускная способность. Задержка. Использование KV-кэша. Если вы сможете улучшить эти три показателя, произойдет две вещи: клиенты получат более быструю и дешевую инференцию, а наша прибыль вырастет. В этом вся суть данной роли. Каждый оптимизированный вами кернел, каждая внедренная схема квантования, каждое настроенное вами расписание напрямую отражаются на p99 клиента и нашей прибыли. Это роль с высоким влиянием. Это также роль с высокой степенью автономии, поскольку вам будет предоставлена свобода самостоятельно определять техническое направление оптимизации инференции в Kimchi, а не выполнять чужой план. Проблема: запуск LLM в продакшене — это постоянно меняющаяся цель. "Правильная" модель и конфигурация обслуживания для рабочей нагрузки зависят от формы трафика, распределения длины последовательностей, динамики пакетов, SKU GPU, пропускной способности памяти, допустимой погрешности квантования и дюжины других переменных, которые меняются от недели к неделе. Большинство команд выбирают модель один раз, избыточно выделяют GPU и поглощают затраты. Kimchi — это система, которая автоматически принимает это решение — постоянно сопоставляя рабочие нагрузки с наиболее экономически эффективной, лучшей по производительности LLM и конфигурацией обслуживания на инфраструктуре клиента. Мы создаем слой оптимизации между моделью и аппаратным обеспечением, и нам нужны инженеры, которые глубоко понимают обе стороны.
Стек: Python; vLLM; SGLang; TensorRT-LLM; PyTorch; инструменты, смежные с CUDA; Kubernetes; gRPC; ClickHouse; PostgreSQL; GCP Pub/Sub; AWS / GCP / Azure; GitLab CI; ArgoCD; Prometheus; Grafana; Loki; Tempo.
Требования
- Более 5 лет опыта создания реальных ML-систем с портфолио, демонстрирующим глубину знаний в инфраструктуре инференции или обучения (не только в ноутбуках для обучения моделей).
- Отличное знание Python — продакшн-сервисы, а не скрипты.
- Практический опыт работы хотя бы с одной из систем: vLLM, SGLang или TensorRT-LLM, а также понимание принципов работы инференс-движка на конкретном GPU.
- Свободное владение техниками квантования — вы измеряли регрессию качества, а не только коэффициенты сжатия.
- Уверенное понимание распределенных систем: коллективные коммуникации, стратегии шардинга и практические сбои многопроцессорных и многоузловых конфигураций.
- Склонность к измерениям. Вы инструментируете систему до оптимизации и можете отличить реальное улучшение от артефакта бенчмарка.
- Самостоятельность. Эта роль предполагает широкий мандат; вы должны быть в восторге от этого, а не смущены.
Обязанности
- Повышение пропускной способности. Непрерывная пакетная обработка, спекулятивное декодирование, чанкинг префикса, оптимизация на уровне кернелов в vLLM, SGLang и TensorRT-LLM. Найдите предел для каждого SKU GPU, а затем поднимите его.
- Снижение задержки. Отдельно работайте над TTFT и TPOT. Профилируйте, определяйте фактическое узкое место (вычисления, пропускная способность памяти, планирование, сеть) и устраняйте его — а не то узкое место, которое вы предполагали.
- Более эффективное использование KV-кэша. Paged attention, префиксный кэшинг, политики вытеснения, повторное использование кэша между запросами, квантованный KV. Здесь скрыта большая часть нереализованной пропускной способности, и эта область будет в вашей зоне ответственности.
- Квантование без регрессии качества. INT8, INT4, FP8 для весов, активаций и KV. Эмпирическая работа: измеряйте качество на реальных рабочих нагрузках, а не только на бенчмарках перплексии.
- Сокращение времени "холодного старта" и потребления памяти. Более быстрая инициализация, умная загрузка весов, более точный учет памяти — разница между масштабируемой моделью и той, которая нет.
- Масштабирование между узлами. Топологии распределенной инференции, размещение с учетом сети, стратегии чекпоинтинга, которые не создают узких мест в хранилище или межсоединениях.
- Определение технического направления. Решайте, что мы бенчмаркаем, что внедряем, а что создаем сами. Вовлекайте команду с помощью подробных отчетов и воспроизводимых экспериментов.
Что мы предлагаем?
- Конкурентоспособная зарплата (в зависимости от уровня опыта).
- Гибкая, удаленная работа в глобальной среде.
- Опционы на акции.
- Быстрая обратная связь в рамках быстрого рабочего процесса. Большинство проектных задач выполняются за 1-4 недели.
- 10% рабочего времени на личные проекты или самосовершенствование.
- Бюджет на обучение для профессионального и личного развития — включая доступ к международным конференциям и курсам, повышающим вашу квалификацию.
- Ежегодный хакатон для генерации новых идей и укрепления командных связей.
- Бюджет на тимбилдинг и корпоративные мероприятия для общения с коллегами.
- Бюджет на оборудование, чтобы у вас было все необходимое.
- Дополнительные выходные дни для поддержания здорового баланса между работой и личной жизнью.
Процесс найма
- Скрининговый звонок с рекрутером
- Интервью с нанимающим менеджером
- Техническое интервью (системный дизайн)
- Live-кодинг
- Интервью на соответствие культуре с руководством
В рамках нашего стандартного процесса найма мы хотели бы сообщить вам, что на заключительном этапе подбора может быть проведена проверка данных через нашего стороннего поставщика, Checkr. Обратите внимание, что Cast AI не предоставляет никакой формы визовой поддержки/разрешения на работу.
