Research Engineer - Eval Platform

Должность: Инженер-исследователь — Платформа оценки Компания: Mistral AI Местоположение: Париж

О MISTRAL

Mistral предлагает комплексные ИИ-решения: от передовых моделей до инструментов для разработчиков, приложений и вычислительных мощностей. Мы сотрудничаем с предприятиями, решающими сложнейшие задачи в критически важных отраслях, таких как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные ИИ-системы, которые они могут использовать на своих условиях.

Мы — динамичная, совместная команда, увлеченная ИИ и его потенциалом трансформировать общество. Наш разнообразный коллектив процветает в конкурентной среде и стремится к инновациям. Наши команды распределены по Европе, Северной Америке, Азии и Ближнему Востоку. Мы креативны, не склонны к эгоизму и ориентированы на командную работу.

РОЛЬ

Оценка — это то, как мы решаем, какие модели, контрольные точки и рецепты выпускать. В качестве инженера-исследователя в команде Eval Platform вы будете создавать инфраструктуру, на которую полагается каждая научная команда для измерения качества модели, делая ее надежной, воспроизводимой и быстрой.

Вам не обязательно иметь опыт разработки бенчмарков. Вам нужно заботиться о том, что означает оценка, и о том, когда разница между двумя запусками является реальной.

ЧТО ВЫ БУДЕТЕ ДЕЛАТЬ

• Создавать системы, обеспечивающие воспроизводимость и сравнимость результатов оценки с течением времени по мере развития моделей, бенчмарков и кода.
• Запускать оценки в масштабе наших кластеров GPU, от обслуживания моделей до их оценки.
• Обеспечивать легкий доступ, исследование и доверие к результатам оценки с помощью API и панелей мониторинга, которыми исследователи пользуются каждый день.
• Выявлять сбои или шумные оценки до того, как они приведут к ошибочным исследовательским решениям.
• Поддерживать оценку агентных, многоходовых моделей и моделей, использующих инструменты.
• Тесно сотрудничать с исследователями для превращения новых потребностей в области оценки в надежные, общие инструменты.

ЧТО МЫ ИЩЕМ

• Степень магистра или доктора наук в области компьютерных наук или эквивалентный опыт.
• Более 4 лет опыта разработки программного обеспечения производственного качества, в идеале — крупномасштабных кодовых баз машинного обучения или распределенных систем.
• Отличное знание Python и сильные навыки проектирования программного обеспечения: тестирование, обзор кода, CI/CD.
• Опыт работы с кластерами GPU (Slurm, Kubernetes, Ray или аналогичными).
• Знакомство с выводом (inference) и оценкой LLM.
• Продуктовое мышление: исследователи — ваши пользователи.
• Инициативность, низкий уровень эго, готовность к сотрудничеству.

ПРИЯТНО ИМЕТЬ

• Опыт создания или поддержки сред оценки или бенчмарков.
• Практический опыт работы с системами вывода (inference engines), такими как vLLM или SGLang.
• Опыт работы с агентными средами или средами обучения с подкреплением (RL).
• Статистика для экспериментов: оценка дисперсии, проверка значимости.
• Вклад в разработку инструментов машинного обучения с открытым исходным кодом.

ЧТО МЫ ПРЕДЛАГАЕМ

Мы предлагаем комплексный пакет льгот, разработанный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы варьируются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, поддержку при переезде, программы оздоровления, пособия на питание и транспорт, а также другие льготы, специфичные для конкретного места.

Для получения самой актуальной информации о льготах, доступных в вашем регионе, обратитесь к нашей странице «Льготы».