Заголовок: Python Inference Engineer
Компания: Gcore
Местоположение: Сербия / Кипр / Удаленно
Что вы будете делать
- Создавать и улучшать уровень инференса платформы Gcore Inference.
- Интегрировать и эксплуатировать фреймворки инференса, такие как vLLM, SGLang, NVIDIA Dynamo и TensorRT-LLM.
- Внедрять новые языковые и мультимодальные модели в продакшн.
- Улучшать задержку инференса, пропускную способность, использование памяти, загрузку GPU и экономическую эффективность.
- Отлаживать проблемы с производительностью и надежностью кода моделей, фреймворков инференса, выполнения на GPU, сетевых подключений и Kubernetes.
- Взаимодействовать с командами платформы, инфраструктуры, продукта и клиентской поддержки для преобразования улучшений инференса в надежные функции продукта.
- При необходимости вносить вклад в улучшения проектов инференса с открытым исходным кодом.
Что мы ищем
- Опыт написания надежного, хорошо протестированного продакшн-кода более 5 лет.
- Отличные навыки Python и опыт проектирования продакшн-систем.
- Практический опыт работы с PyTorch и развертыванием моделей машинного обучения.
- Опыт работы с Linux, Docker и Kubernetes.
- Опыт в одной из следующих областей: распределенные системы, вычисления на GPU, среды выполнения ML, оптимизация моделей или планирование кластера.
- Способность отлаживать сложные проблемы в области программного обеспечения, инфраструктуры и оборудования.
- Четкое понимание пользовательского опыта разработчика: вы думаете о том, как системы используются, а не только о том, как они работают.
- Искренний интерес к инженерии инференса. Вам не обязательно иметь прямой опыт работы с движками инференса, но вы должны быть мотивированы учиться.
- Хорошие коммуникативные навыки и навыки сотрудничества.
Желательно
- Опыт работы с vLLM, SGLang, NVIDIA Dynamo, TensorRT-LLM или аналогичным фреймворком инференса.
- Опыт эксплуатации GPU-нагрузок в продакшене.
- Знание техник инференса, таких как квантование, непрерывная пакетная обработка (continuous batching), спекулятивное декодирование (speculative decoding), префиксное кеширование (prefix caching), чанк-префилл (chunked prefill) или обслуживание LoRA.
- Опыт работы с CUDA, Triton, TensorRT или другими инструментами программирования GPU.
- Опыт профилирования и улучшения задержки модели, пропускной способности, использования памяти или загрузки GPU.
- Опыт распределенного инференса, многопроцессорных систем GPU, планирования или автоскейлинга.
- Вклад в проекты с открытым исходным кодом в области ML, инференса или инфраструктуры.
Преимущества
В Gcore мы хотим, чтобы вы достигали наилучших результатов и получали удовольствие от процесса. Наши преимущества разработаны для поддержки вашего роста, благополучия и жизни за пределами работы:
- Конкурентоспособная компенсация
- Гибкий рабочий график и возможность гибридной или удаленной работы, в зависимости от вашей роли
- Конкурентоспособная компенсация
- Возможность работать из любой точки мира до 45 дней в году
- Частное медицинское страхование для вас и вашей семьи*
- Дополнительные оплачиваемые дни отпуска и больничного*
- Поддержка в важные моменты жизни и праздники
- Языковые курсы для помощи в общении и росте
- Современные, гостеприимные офисы с закусками, напитками и развлечениями*
- Командные виды спорта и социальные мероприятия*
Преимущества могут различаться в зависимости от вашего местоположения.
Работодатель, предоставляющий равные возможности
Мы предоставляем равные возможности всем соискателям независимо от расы, цвета кожи, религии, пола, сексуальной ориентации, возраста, гендерной идентичности, гендерного выражения, национального происхождения, инвалидности или любых других характеристик, защищенных законом.
Эта позиция доступна только по трудовому договору.
Цифровые впечатления всего мира работают на чем-то невидимом: инфраструктуре и программном обеспечении, которые делают их быстрыми, надежными и безопасными. В Gcore вы будете помогать проектировать и создавать эту основу для мира, основанного на ИИ.
Мы являемся глобальным поставщиком инфраструктурных и программных решений для ИИ, облачных вычислений, сетей и безопасности, обеспечивая работу всего: от связи в реальном времени и стриминга до корпоративного ИИ и безопасных веб-приложений. Имея 210+ граничных точек, 50+ облачных регионов и тысячи GPU, ваша работа здесь может охватить пользователей и предприятия по всему миру.
Вы будете сотрудничать с ведущими технологическими партнерами, такими как Intel, NVIDIA, Dell и Equinix, и работать над платформами, которые обеспечивают работу цифровых продуктов, используемых по всему миру. Наше видение простое: соединить мир с ИИ, где угодно и когда угодно.
Хотите работать над технологиями, выходящими за рамки одного продукта или отрасли? Присоединяйтесь к глобальной команде из более чем 550 специалистов, создающих инфраструктуру и программное обеспечение, поддерживающее всю цифровую экосистему.
В настоящее время мы ищем Python Inference Engineer в нашу команду Edge Cloud&AI.
