Research Engineer, Latency & Throughput

Название: Инженер-исследователь, Задержка и Пропускная способность Компания: Mistral AI Местоположение: Париж / Лондон

О MISTRAL

Mistral предоставляет комплексные решения в области ИИ: от передовых моделей до инструментов для разработчиков, приложений и вычислительных мощностей. Мы сотрудничаем с предприятиями, решающими сложнейшие задачи в таких критически важных отраслях, как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные системы ИИ, которые они могут использовать на своих условиях.

Мы — динамичная, совместная команда, увлеченная ИИ и его потенциалом для трансформации общества. Наш разнообразный коллектив процветает в конкурентной среде и стремится к инновациям. Наши команды распределены по Европе, Северной Америке, Азии и Ближнему Востоку. Мы креативны, не склонны к эгоцентризму и ориентированы на командную работу.

РОЛЬ

В качестве инженера-исследователя в команде Latency & Throughput вы будете расширять границы инференса LLM, исследуя и прототипируя методы, которые снижают задержку и увеличивают пропускную способность — от спекулятивного декодирования и квантования до сжатия KV и новых вариантов внимания. Команда находится на стыке исследований и производства: вы будете брать идеи из недавней литературы, формировать гипотезы, проводить эксперименты и внедрять доказавшие себя методы в наш стек обслуживания.

Эта роль находится между нашими инженерами по инференсу, которые отвечают за производственный стек обслуживания, и нашими научными сотрудниками, которые фокусируются на публикациях на уровне статей. Вы будете больше ориентированы на науку, чем чистый инженер: от вас ожидается генерация новых идей, поддержание актуальности знаний о последних достижениях и реализация доказательств концепции, которые заполняют пробел между академическими результатами и производственным влиянием. Некоторые исследуемые вами методы будут приводить к потерям или требовать интеграции в обучение — переобучение моделей, настройка архитектур или обучение вспомогательных моделей для улучшения инференса.

Вы будете тесно сотрудничать с командами Inference Foundation и Kernels, которые преобразуют ваши проверенные методы в производственные рецепты, и с командами pretraining и RL, когда ваша работа затрагивает обучение моделей. Успех измеряется продемонстрированным снижением задержки или увеличением пропускной способности, сначала в малом масштабе, затем внедрением в производство.

Что вы будете делать

• Исследовать и прототипировать методы инференса — спекулятивное декодирование, квантование, сжатие KV, водяные знаки и новые архитектуры моделей — путем изучения недавней литературы и формирования проверяемых гипотез.

• Разрабатывать и проводить эксперименты для подтверждения или опровержения идей, быстро итерируя на маломасштабных установках, прежде чем предлагать интеграцию в производство. Демонстрировать явное снижение задержки или увеличение пропускной способности без неприемлемой потери качества.

• Сотрудничать с командой Inference Foundation для интеграции проверенных методов в стек обслуживания на базе vLLM.

• Партнерство с командами pretraining и RL, когда методы требуют совместного обучения, переобучения или обучения вспомогательных моделей для улучшения инференса.

Создавать правильные инструменты и платформы валидации для облегчения исследований инференса на базе ИИ.

Кого мы ищем

• Сильный ML-бэкграунд с глубокими знаниями техник обучения LLM — архитектуры, токенизации, тонкой настройки и оценки.

• Практический опыт работы с Python и PyTorch; вы пишете чистый, экспериментальный код и быстро итерируете. JAX приемлем при сильном владении Python. C++ и Rust не требуются, знание CUDA и GPU ожидается, но практический опыт не требуется.

• Опыт исследований в той или иной форме: диссертация, публикации, специализированный исследовательский проект или работа, ориентированная на эффективность, в лабораторных или промышленных исследовательских условиях. PhD не требуется, но мы ищем подлинную исследовательскую глубину.

• Опыт проведения экспериментов: формирование гипотез, проектирование контролируемых сравнений и получение четких выводов из результатов.

• Знакомство с современным состоянием LLM инференса — вы знаете, что было опробовано, что работает и каковы открытые проблемы.

• Самостоятельность, низкий уровень эго и склонность к сотрудничеству. Вы комфортно себя чувствуете в условиях неопределенности, негативных результатов и готовы брать дело в свои руки.

• Опыт работы с инференсом или обслуживанием является плюсом, но не обязателен. Предыдущий опыт работы с vLLM, производственными развертываниями LLM или системами обслуживания поможет вам быстрее адаптироваться.

Местоположение и удаленная работа

Эта роль базируется в наших офисах в Париже или Лондоне (гибридный формат). Мы будем отдавать приоритет кандидатам, проживающим в парижском регионе или готовым к переезду. Мы твердо верим в ценность очного сотрудничества для построения прочных отношений и бесперебойной коммуникации внутри нашей команды. Для старших специалистов мы также рассмотрим кандидатов на удаленную работу во Франции. В этом случае мы просим всех новых сотрудников посещать наш парижский офис:

• В течение первой недели адаптации (проживание и проезд оплачиваются)

• Затем не менее 3 дней в месяц

ЧТО МЫ ПРЕДЛАГАЕМ

Мы предлагаем комплексный пакет льгот, разработанный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы варьируются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, помощь при переезде, программы оздоровления, пособия на питание и транспорт, а также другие льготы, специфичные для данного местоположения.

Для получения самой актуальной информации о льготах, доступных в вашем регионе, обратитесь к нашей странице льгот.

ПОЛИТИКА КОНФИДЕНЦИАЛЬНОСТИ

Ваша конфиденциальность важна для нас. Вы можете узнать больше о том, как мы обрабатываем ваши персональные данные, в нашей Политике конфиденциальности заявителя.