Название: Инженер-исследователь, Inference Foundation Компания: Mistral AI Местоположение: Мюнхен / Варшава / Лондон / Гибрид / Удаленно

О MISTRAL

Mistral предоставляет комплексные AI-решения: от передовых моделей до инструментов для разработчиков, приложений и вычислительных мощностей. Мы сотрудничаем с предприятиями, решающими сложнейшие задачи в таких важных отраслях, как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные AI-системы, которые они могут использовать на своих условиях.

Мы — динамичная, сплоченная команда, увлеченная AI и его потенциалом для преобразования общества. Наш разнообразный коллектив преуспевает в конкурентной среде и стремится к инновациям. Наши команды распределены между Европой, Северной Америкой, Азией и Ближним Востоком. Мы креативны, не склонны к эгоцентризму и ориентированы на командную работу.

РОЛЬ

Команда Inference Foundation отвечает за ядро стека инференса Mistral: движок инференса и его оркестрацию, начиная с набора функций и конфигурации, которые обслуживают наши модели в продакшене, и заканчивая механизмом релизов, который поддерживает стек актуальным и готовым к продакшену.

Это гибридная позиция, охватывающая обслуживание LLM в продакшене, разработку движка и платформы, а также инжиниринг мощностей. Вы будете работать над тремя взаимосвязанными задачами:

1. Оптимизация стека инференса в масштабе — разработка функций и исправление ошибок в движке и оркестраторе, получение большей пропускной способности и снижение задержки от каждого GPU при строгих целевых показателях качества обслуживания.
2. Обеспечение эластичности мощностей — масштабирование вверх и вниз должно быть дешевым и быстрым, а не приводить к резкому падению производительности.
3. Обеспечение обучения наших передовых моделей — высокопроизводительное обслуживание, которое поддерживает циклы RL и пост-обучения на полной скорости.

Что вы будете делать

ДВИЖОК И ОРКЕСТРАЦИЯ ИНФЕРЕНСА

• Разрабатывать и исправлять ядро стека инференса — движок и оркестратор — включая выбор функций, настройку и оптимизацию для максимальной производительности в масштабе.
• Отвечать за процесс релизов стека обслуживания: валидированные релизы без регрессий через автоматизированные пороги производительности и постепенное развертывание.
• Продвигать улучшения и исправления в upstream, когда open-source движок является подходящим местом для них.

ПРОИЗВОДИТЕЛЬНОСТЬ И МОЩНОСТИ В МАСШТАБЕ

• Оптимизировать эффективность обслуживания по всему парку — сокращать время запуска пода, устранять регрессии холодного кэша при масштабировании, улучшать кэширование и выгрузку.
• Оптимизировать и поддерживать оптимальную топологию обслуживания — накладывать коммуникации и передачи на вычисления, обеспечивать оптимальное размещение, соединение и маршрутизацию.

ОБСЛУЖИВАНИЕ ДЛЯ ОБУЧЕНИЯ ПЕРЕДОВЫХ МОДЕЛЕЙ

• Создавать инфраструктуру обслуживания, которая обеспечивает RL и пост-обучение для наших передовых моделей.
• Оптимизировать производительность инференса для всего спектра наших рабочих нагрузок.

Что мы ищем

• Опыт создания и эксплуатации ML/LLM сервисов в масштабе, с четкими целевыми показателями задержки и доступности.
• Практический опыт работы с движками инференса, такими как vLLM, SGLang, TensorRT-LLM или другими.
• Глубокое понимание внутренностей инференса: prefill против decode, поведение KV-кэша, пакетная обработка, планирование, спекулятивное декодирование, стратегии параллелизма.
• Знакомство с распределенными и дезагрегированными архитектурами обслуживания.
• Умение отлаживать весь стек — CUDA/NCCL, ядра, контейнеры, сети, хранилища.
• Python для системных утилит и бэкенд-сервисов; PyTorch.
• Kubernetes для эксплуатации инфраструктуры в масштабе.
• Основы GPU и сетей: CUDA runtime, NCCL, InfiniBand/RDMA.

Что было бы плюсом

• Демонстрируемые знания vLLM/sglang — вклад в upstream или опыт эксплуатации в требовательных продакшен-средах.
• Аппаратно-зависимая оптимизация для различных архитектур моделей.
• Опыт обслуживания MoE моделей в масштабе (параллелизм экспертов, размещение/балансировка нагрузки экспертов).
• Разработка ядер CUDA/Triton; профилирование с помощью Nsight Systems/Compute.
• Rust и/или C++ в продакшен-системах.

ЧТО МЫ ПРЕДЛАГАЕМ

Мы предлагаем комплексный пакет льгот, разработанный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы варьируются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, помощь при переезде, программы оздоровления, пособия на питание и транспорт, а также другие льготы, специфичные для конкретного места.

Для получения самой актуальной информации о льготах, доступных в вашем регионе, пожалуйста, обратитесь к нашей странице льгот.

ПОЛИТИКА КОНФИДЕНЦИАЛЬНОСТИ

Ваша конфиденциальность важна для нас. Вы можете узнать больше о том, как мы обрабатываем ваши личные данные, в нашей Политике конфиденциальности соискателя.