Ведущий инженер, Качество ИИ
Команда инженеров по качеству ИИ в Circle отвечает за основу для измерения, диагностики и улучшения качества функций Circle на базе ИИ. Эта команда фокусируется на создании инфраструктуры для измерения, диагностики и улучшения производственных систем ИИ, а не на исследованиях в области машинного обучения или обучении моделей.
Мы ищем ведущего инженера, который поможет нам в создании фреймворков оценки, инструментов наблюдаемости и диагностической инфраструктуры, которые покажут нам, насколько хорошо работают наши ИИ-агенты, где их следует улучшать, и как сделать их быстрее и экономичнее.
Это роль практического специалиста, совмещающего исполнение и руководство. Вы также будете руководить командой инженеров по качеству ИИ с амбициозным и растущим планом работ.
Если вы горите желанием сделать системы ИИ надежными, эффективными и масштабируемыми, эта вакансия для вас.
Чем вы будете заниматься
- Создание и владение нашей инфраструктурой оценки. Проектирование конвейеров CI/CD, скоринговых систем и наборов данных, которые показывают нам, действительно ли работают ИИ-агенты Circle (планировщики, вызывающие инструменты, суб-агенты), от одного вызова инструмента до полного многошагового диалога.
- Точная диагностика причин сбоев качества. Отслеживание сбоев по всему конвейеру агента, включая создание плана против выполнения, выбор инструмента, траекторию инструмента в таких сложных областях, как рабочие процессы, конструктор сайтов и аналитика. Преобразование полученных данных в прототипы, решающие проблему, или определение приоритетов для основной команды инженеров ИИ.
- Разработка наборов данных, обеспечивающих оценку. Создание рабочих процессов аннотирования и разработка наборов данных, сгенерированных ИИ, и симуляций диалогов, чтобы мы могли охватить большую часть продукта быстрее, чем только с помощью ручной маркировки.
- Проведение структурированных экспериментов с промптами, моделями и фреймворком агента. Оценка новых и сторонних моделей по сравнению с нашей производственной базовой линией, создание фреймворка, который мы используем для принятия решений о смене моделей, и поиск путей снижения затрат и задержек за счет смены моделей, кэширования и маршрутизации по сложности плана.
- Руководство и развитие команды инженеров по качеству ИИ. Определение технического направления и управление повседневными приоритетами, оставаясь при этом практическим специалистом, работающим с кодом.
- Тесное сотрудничество с основной командой инженеров ИИ. Работа с инженерами, разрабатывающими ИИ-продукты Circle, чтобы они были полностью уверены, что их изменения действительно улучшают качество, а не просто выпускаются.
Что вам понадобится для успеха
- 7+ лет опыта создания и выпуска производственного программного обеспечения, в идеале включающего агентов на базе LLM, которые выполняют реальные действия в продукте. У вас есть опыт работы со сложными системами, использующими инструменты (несколько инструментов, планирование или оркестровка, суб-агенты), а не просто простыми одношаговыми ассистентами, и вы можете рассказать нам о чем-то, что вы выпустили, и как вы узнали, что это действительно работает.
- Уверенное владение Ruby on Rails / Python или готовность быстро освоить их. Ruby on Rails — наша производственная система и основа, на которой построены ИИ-агенты Circle, а знание Python является большим плюсом, особенно для работы с данными и оценки.
- Опыт создания инфраструктуры оценки или наблюдаемости для систем ML/AI. Вы ранее создавали конвейеры оценки, скоринговые системы, панели мониторинга или CI/CD для оценки и имеете опыт работы с фреймворками оценки, такими как Braintrust, LangSmith или аналогичными.
- Опыт проектирования наборов данных, рабочих процессов аннотирования или конвейеров маркировки для оценки ML/AI. Вы знаете, как превратить необработанные примеры в надежный набор данных с помощью человеческого аннотирования, данных, сгенерированных ИИ, или симуляции.
- Быстрое обучение, агрессивное экспериментирование и успешная работа в динамичной среде. Вам нужно будет комфортно проводить множество экспериментов и позволять результатам разрешать споры, в том числе те, которые не сработают (а их в начале будет много).
- Комфортная работа в быстро меняющейся среде с неопределенностью. Вам нужно будет изучать и осваивать новые технологии, когда этого требуют проекты.
- Сильное соответствие ценностям нашей компании.
- Вы свободно владеете английским языком (устно, письменно и чтение) на уровне CEFR Level C2 / ILR Level 5.
