Senior IA Inference Engineer (x/f/m)

Задайте новый импульс здравоохранению! Мы ищем старшего инженера по выводу моделей (Senior Inference Engineer) в команду ML Platform (TIGER) в отделе AI & Machine Learning. Ваша миссия — обеспечить работу основанных на ИИ продуктов Doctolib в сфере здравоохранения — от Consultation Assistant до Phone Assistant и Health Companion — управляя собственной платформой для вывода LLM, которая обеспечивает хранение самых чувствительных данных пациентов в инфраструктуре, контролируемой Doctolib. Вы будете создавать и эксплуатировать общие фундаментальные компоненты, на которые полагается каждая команда, занимающаяся разработкой функций ИИ: развертывание, настройка и масштабирование открытых моделей на нашем парке GPU, внося прямой вклад в ускорение, повышение безопасности и снижение стоимости ИИ для медицинских бригад и пациентов по всей Европе. Работа в технологической команде Doctolib означает создание инновационных продуктов и функций для улучшения повседневной жизни медицинских бригад и пациентов.

Что вы будете делать В ваши обязанности входит, но не ограничивается:

• Создание общих платформ для вывода LLM совместно с инженерами MLOps — определение стека для вывода, планирование мощностей GPU и автоматизация развертывания открытых моделей (Gemma, Mistral, Llama, Qwen и их донастроенных вариантов) на Ray Serve / Anyscale, а также формирование развития в сторону оркестрации на базе Kubernetes.
• Управление реестром моделей и процессом их продвижения — установление четких процессов для версионирования, валидации и продвижения моделей в продакшн, оценка производительности и качества вывода при реалистичных нагрузках, а также поддержание каталога курируемых моделей совместно с командой Agents Platform.
• Оптимизация производительности и эффективности вывода — эксплуатация и настройка движков вывода (vLLM, Triton Inference Server, TensorRT-LLM) для сокращения времени до первого токена, задержки между токенами и стоимости за токен с использованием стратегий батчинга, кэширования, квантования и параллелизма на нашем парке GPU (от L4 до H200).
• Обеспечение надежности продакшена и аварийного восстановления — определение SLO, проведение нагрузочных тестов перед запусками, внедрение безопасных развертываний, откатов и автомасштабирования, а также участие в дежурствах и реагировании на инциденты.
• Измерение производительности и стоимости вывода — создание дашбордов Datadog, оповещений и отчетов о расходах для отслеживания задержек, утилизации GPU и затрат на вывод, а также выявление возможностей для повышения эффективности использования ресурсов.
• Обеспечение безопасности, соответствия требованиям и развития стека вывода — работа с отделами безопасности и конфиденциальности над изоляцией сетей, резидентностью данных и аудируемостью, а также постоянная оценка новых моделей, движков вывода (таких как SGLang) и поколений GPU.

Кто вы Прежде чем продолжить: если у вас нет точного профиля, описанного ниже, но вы чувствуете, что это описание вакансии соответствует вашим навыкам, мы все равно призываем вас подать заявку. Вы отлично подойдете, если:

• У вас есть 5+ лет опыта в разработке программного обеспечения или компьютерной инженерии, включая практический опыт работы с продакшн-системами с использованием как минимум одного движка вывода LLM (vLLM, SGLang, TensorRT-LLM, TGI или Triton) — в идеале, если вы выбирали, внедряли, настраивали или масштабировали его в продакшене, а не просто запускали с настройками по умолчанию.
• Вы свободно владеете Python и Terraform, обладаете глубоким пониманием механизмов вывода трансформеров: prefill vs. decode, KV cache, стратегии батчинга, и понимаете, почему модель ограничена вычислительными ресурсами или памятью на конкретном GPU.
• У вас есть солидный опыт работы с GPU-нагрузками в Kubernetes или управляемой платформе Ray / Anyscale, а также мышление, ориентированное на производительность — вы разрабатываете воспроизводимые тесты, анализируете вывод профилировщика и подкрепляете решения цифрами.
• Вы уверены в обеспечении надежности продакшена: наблюдаемость, реагирование на инциденты и дежурства являются естественной частью этой роли.
• У вас отличные коммуникативные навыки и навыки сотрудничества, высокая самостоятельность, прагматичный подход к выбору между разработкой и покупкой (build-vs-buy), и вы комфортно работаете в условиях, когда область ответственности еще формируется.
• Вы свободно владеете английским языком.

Было бы здорово, если бы вы:

• Имели опыт работы с фреймворками распределенного вывода (KServe, llm-d, NVIDIA Dynamo), включая раздельные prefill/decode или маршрутизацию с учетом KV-кэша, или с выводом Mixture-of-Experts, мультимодальных моделей, или множества LoRA-адаптеров на общих базовых моделях.
• Имели опыт работы с GPU-ядрами или глубокие навыки профилирования (CUDA, Triton, Nsight), или участвовали в разработке open-source проектов по выводу моделей.
• Имели опыт работы в регулируемых средах (здравоохранение, финансы, государственный сектор) и с фреймворками, такими как GDPR, HDS, ISO 27001 или SOC 2.

Наш стек Языки программирования: Python, а также умение читать/отлаживать системный язык (C++, Rust или Go). Облачные провайдеры: GCP / AWS / Azure Оркестрация вывода: Ray Serve / Anyscale (GCP), с Kubernetes (GKE) + GPU scheduling как новым параллельным направлением. Движки вывода LLM (в продакшене): vLLM, Triton Inference Server, TensorRT-LLM (также оцениваем SGLang и другие новые движки). Модели: Самостоятельно размещенные открытые LLM (Gemma, Mistral, Llama, Qwen), донастроенные внутренне. Отслеживание экспериментов и реестр моделей: MLflow Шлюз GenAI: LiteLLM Оценка и наблюдаемость LLM: Braintrust GPU: NVIDIA L4, A10G, L40S, RTX 6000 Pro, A100 (40GB/80GB), H200. Контейнеризация / Инфраструктура как код: Docker, Terraform, Helm, Kustomize. Наблюдаемость: Datadog. Хранилище данных / склад данных: GCP BigQuery / GCS / AWS S3. И любой другой инструмент, который вы сочтете релевантным!

Жизнь в Doctolib Tech Наши решения построены на единой облачной платформе, которая поддерживает веб- и мобильные интерфейсы, множество языков и адаптирована к требованиям стран и медицинских специальностей. Наш стек состоит из Rails, TypeScript, Java, Python, Kotlin, Swift и React Native. Мы этично используем ИИ в наших продуктах для расширения возможностей пациентов и медицинских работников. Узнайте о нашем видении ИИ здесь . Хотите узнать больше о нашей технологической культуре и среде? Посетите сайт Doctolib Tech .

Что мы предлагаем

• Бесплатное комплексное медицинское страхование (базовый пакет) для вас и ваших детей.
• 25 дней оплачиваемого отпуска в год, плюс до 14 дней RTT (компенсация рабочего времени).
• Бесплатные услуги по охране психического здоровья и коучингу через нашего партнера Moka.care.
• Возможность работать из-за границы до 10 дней в год благодаря нашей политике гибких дней.
• Обеденные ваучеры (Swile card) на сумму 8,50 евро в рабочий день, из которых 4,50 евро покрывает Doctolib.
• Субсидия от профсоюза для частичной компенсации членства в спортивном клубе или творческом классе.
• 50% возмещение стоимости вашей подписки на общественный транспорт.
• Программа ParentCare: Полное покрытие зарплаты (100%) в течение первого месяца отпуска по рождению ребенка и 75% во второй месяц, покрываемые Doctolib.
• Участие в долгосрочной программе разделения стоимости акций для сотрудников Doctolib под названием DoctoGrowth.
• Для лиц, осуществляющих уход, и работников с ограниченными возможностями: пакет, включающий адаптацию политики удаленной работы, дополнительные выходные по медицинским показаниям и психологическую поддержку.
• Поддержка при переезде в случае международной мобильности.
• Доступ к лучшим инструментам ИИ для программирования, разработки и специализированному обучению.

Наш процесс собеседования

• HR-интервью по телефону (45 минут).
• Собеседование с нанимающим менеджером (1 час).
• Техническое тестовое задание (1 час).
• Поведенческое интервью (1 час 30 минут).
• Как минимум одна проверка рекомендаций.

Мы хотим, чтобы ваш опыт был ясным, уважительным и прозрачным. Узнайте больше о нашем процессе найма на странице опыта кандидата .

Детали вакансии Постоянная позиция. Технологический стек: Python, vLLM, TensorRT-LLM, Triton, Ray Serve. Полная занятость. Париж, Франция. Гибридный режим работы (до 2 удаленных дней в неделю). Дата начала: как можно скорее.

Мы рады всем В Doctolib мы стремимся улучшить доступ к здравоохранению для всех. Это отражается и в нашем процессе найма. Мы оцениваем кандидатов исключительно по квалификации и мотивации, без какой-либо дискриминации. Чем больше разнообразных идей будет услышано, тем более эффективно наш продукт будет улучшать здравоохранение для всех. Вы можете подать заявку в Doctolib независимо от вашего пола, религии, возраста, сексуальной ориентации, этнической принадлежности или инвалидности. Для обеспечения равных возможностей мы просим вас исключить личную информацию (например, фотографии, возраст) из ваших заявок. Если вам требуется какая-либо помощь, пожалуйста, сообщите нам, чтобы мы могли оказать поддержку в процессе найма. Присоединяйтесь к нам в создании системы здравоохранения, о которой мы все мечтаем!

Конфиденциальность ваших данных Вся предоставленная информация обрабатывается Doctolib для управления заявками. Подробности обработки данных см. здесь: France . По вопросам или для реализации ваших прав обращайтесь по адресу hr.dataprivacy(at)doctolib.com.