Инженер-исследователь (агентные модели)
Амстердам, Нидерланды; Белград, Сербия; Берлин, Германия; Лимассол, Кипр; Лондон, Великобритания; Мадрид, Испания; Мюнхен, Германия; Пафос, Кипр; Прага, Чехия; Удалённая работа, Германия; Варшава, Польша; Ереван, Армения
В JetBrains код — это наша страсть. С самого начала нашей работы, с 2000 года, мы стремимся создавать самые мощные и эффективные инструменты для разработчиков на планете. Сегодня помощь на основе ИИ и агенты становятся неотъемлемой частью того, как разработчики работают в наших IDE.
Мы создаем многошаговых агентов для написания кода, которые могут понимать большие кодовые базы, планировать изменения, использовать инструменты и итеративно взаимодействовать с пользователем. Как инженер-исследователь в команде Agentic Models вы будете отвечать за модели, циклы обучения и конвейеры оценки, которые питают этих агентов.
Вы будете работать на стыке постобучения в стиле SFT и RL, а также продуктоориентированной оценки, используя наши распределенные GPU и MapReduce-кластеры для внедрения моделей в продукты JetBrains.
В составе нашей команды вы будете:
- Проектировать, реализовывать и поддерживать конвейеры постобучения SFT и RL для многошаговых агентов по написанию кода.
- Обучать и адаптировать LLM для рабочих процессов агентов, включая планирование, использование инструментов и многошаговое взаимодействие внутри IDE JetBrains.
- Создавать и развивать среды для оценки и симуляции, в которых агенты по написанию кода могут действовать, оцениваться и сравниваться на основе реалистичных задач разработчика.
- Разрабатывать фреймворки оценки и метрики для поведения агентов, анализировать трассы и логи, а также замыкать цикл от оценки обратно к обучению, данным и дизайну вознаграждений.
- Анализировать результаты обучения и оценки, чтобы предлагать и внедрять улучшения в архитектуры моделей, рецепты обучения и наборы данных.
- Работать с крупномасштабной инфраструктурой, включая распределенное обучение на GPU-кластерах и обработку данных в стиле MapReduce больших объемов для наборов данных предварительного обучения и тонкой настройки.
- Тесно сотрудничать с исследовательскими, продуктовыми и инфраструктурными командами, чтобы превращать высокоуровневые продуктовые видения в конкретные модели, эксперименты и выпущенные функции.
Мы будем рады видеть вас в нашей команде, если у вас есть:
- Обширный практический опыт обучения LLM (предварительное обучение, тонкая настройка или постобучение) в исследовательских или производственных условиях.
- Глубокие знания современных фреймворков для глубокого обучения, таких как PyTorch, и специализированных стеков для обучения LLM (например, Megatron, NeMo, verl или аналогичные).
- Сильное теоретическое и практическое понимание основ LLM: архитектур, токенизации, конвейеров данных, батчинга, смешанной точности, распределенного обучения и отладки нестабильных запусков.
- Способность вести проекты от начала до конца, начиная с высокоуровневой проблемы или болевой точки продукта и контролируя их на этапах проектирования, экспериментирования, реализации и итераций.
- Продуктоориентированный образ мышления — вам важно, как разработчики на самом деле используют агентов, и вы можете переводить потребности продукта и режимы сбоев в задачи по моделированию и оценке.
- Как минимум 3 года опыта работы с Python, написания чистого, поддерживаемого кода в современных ML кодовых базах.
Наш идеальный кандидат имел бы опыт работы с:
- Оркестраторами ML и инструментами рабочих процессов, такими как Kubeflow, Dagster, Airflow, ZenML, и/или планировщиками заданий, такими как Kubernetes или SLURM.
- Крупномасштабными конвейерами данных и обучения, например, кластерами в стиле MapReduce, многопоточным GPU-обучением или рабочими нагрузками порядка 1M+ CPU/GPU-часов.
- Проектированием и поддержкой конвейеров оценки для LLM или агентов, включая метрики, дашборды, отслеживание экспериментов и автоматические проверки на регрессию.
- Разработкой ИИ-агентов, таких как агенты, использующие инструменты, планировщики или многошаговые рабочие процессы по написанию кода, а также знакомство с фреймворками или паттернами для агентов.
- Отслеживанием экспериментов и наблюдаемостью с использованием таких инструментов, как Weights & Biases, MLflow, Langfuse или аналогичных.
- Оптимизацией вывода (инференса) и запуском оптимизированных моделей в продакшене.
#LI-KP1
Мы — работодатель, предоставляющий равные возможности
Мы знаем, что отличные идеи могут прийти от любого человека и из любого места. Именно поэтому мы делаем все возможное, чтобы создать открытое и инклюзивное рабочее место — такое, которое приветствует всех независимо от их происхождения, идентичности, религии, возраста, потребностей в доступности или ориентации.