Компания: Mistral AI
Местоположение: Париж
О MISTRAL
Mistral предоставляет комплексные AI-решения: от передовых моделей до инструментов для разработчиков, приложений и вычислительных мощностей. Мы сотрудничаем с предприятиями, решающими сложнейшие задачи в таких критически важных отраслях, как финансы, производство, оборона, здравоохранение и государственный сектор, совместно создавая индивидуальные AI-системы, которые они могут использовать на своих условиях.
Мы — динамичная, сплоченная команда, увлеченная AI и его потенциалом трансформировать общество. Наш разнообразный коллектив процветает в конкурентной среде и стремится к инновациям. Наши команды распределены по Европе, Северной Америке, Азии и Ближнему Востоку. Мы креативны, не склонны к эгоцентризму и ориентированы на командную работу.
Роль
Работая непосредственно в продуктовой команде, отвечающей за поиск, чат, документы или аудио, вы будете улучшать функции с поддержкой AI посредством тщательной оценки, разработки промптов и оркестровки, а также быстрого экспериментирования. Вы будете полностью отвечать за качество AI в своей области: определять, что такое «хорошо», измерять это, проводить эксперименты и внедрять то, что работает. Взаимодействуйте с научным отделом для достижения измеримых улучшений качества, задержки, безопасности и надежности.
Что вы будете делать
- Разрабатывать и проводить оценки для вашей продуктовой области: референсные тесты, эвристики, проверки, оцененные моделью, специально разработанные для релевантности поиска, качества чата, понимания документов или производительности аудио.
- Определять и отслеживать важные метрики: успешность задач, полезность, прокси-метрики галлюцинаций, флаги безопасности, задержка, стоимость.
- Отвечать за разработку промптов и оркестровки: писать, тестировать и итерировать промпты и системные промпты как основную часть вашей работы.
- Проводить A/B-тестирование промптов, моделей и конфигураций; анализировать результаты; принимать решения о внедрении или откате на основе данных.
- Настраивать инструменты для наблюдения за вызовами LLM: структурированное логирование, трассировка, дашборды, оповещения.
- Управлять релизами моделей: канареечный и теневой трафик, подписи, критерии отката на основе SLO, обнаружение регрессий.
- Улучшать основные поведенческие характеристики в вашей продуктовой области, будь то политики памяти, классификация намерений, маршрутизация, надежность вызовов инструментов или качество извлечения данных.
- Создавать шаблоны и документацию, чтобы другие команды могли безопасно создавать оценки и внедрять новые функции.
- Сотрудничать с научным отделом для диагностики регрессий и проведения пост-мортемов.
Что мы ищем
- 3-4 года опыта; хорошо подойдут специалисты с опытом ML-инженерии, приближающиеся к продуктовой разработке, или инженеры-программисты с реальным опытом работы с AI/ML в продакшене.
- Отличные навыки работы с TypeScript или Python — у нас есть обе специализации в зависимости от соответствия команде.
- Опыт работы с LLM в продакшене: промпты, вызовы инструментов/функций, системные промпты.
- Опыт работы с оценками и A/B-тестированием; вы можете разрабатывать метрики, а не только запускать их.
- Умение напрямую внедрять код в продукт, а не только в ноутбуках.
- Опыт работы с инструментами для наблюдения: логирование, трассировка, дашборды, оповещения.
- Продуктовое мышление: формулировать гипотезы, проводить эксперименты, интерпретировать результаты, внедрять.
- Четкая коммуникация, автономность и ориентация на влияние в продакшене, а не на эксперименты ради самих экспериментов.
Было бы идеально, если бы у вас также был опыт:
- Системы безопасности: модерация, обработка/редактирование PII, защитные механизмы.
- Операции по выпуску релизов: канареечные/теневые релизы, автоматический откат, платформы для экспериментов.
- Предыдущий опыт работы над функциями ранжирования в поиске, чат-системами, document AI или аудио ML.
ЧТО МЫ ПРЕДЛАГАЕМ
Мы предлагаем комплексный пакет льгот, разработанный для поддержки вашего благополучия, роста и баланса между работой и личной жизнью. Льготы различаются в зависимости от страны и могут включать медицинское страхование, отпуск по уходу за ребенком, пенсионные планы, поддержку при переезде, программы оздоровления, пособия на питание и транспорт, а также другие льготы, специфичные для конкретного места.
Для получения самой актуальной информации о льготах, доступных в вашем регионе, обратитесь к нашей странице льгот.
