Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Perplexity
Сан-Франциско, Соединенные Штаты26 дней назад
220 000 – 405 000 USD
в год
Грейд
Senior
Опыт работы
от 5 лет
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Команда оценки и эффективности корпоративных агентов улучшает работу агентов Perplexity при выполнении реальных задач в рамках корпоративных коннекторов, инструментов и данных. Наша цель — помочь агентам выбирать правильные инструменты, использовать правильный контекст и надежно выполнять сложные рабочие процессы, затрачивая меньше времени и вычислительных ресурсов. Эта команда отвечает за цикл улучшения: определение того, как выглядит успешная работа, создание оценок для ее измерения, понимание того, где агенты терпят неудачу, и внедрение изменений, которые улучшают результаты.
Это практическая инженерная роль с полной ответственностью, от создания реалистичных корпоративных сред для оценки до внедрения улучшений в системе управления агентами, инструментах и навыках. Вы будете создавать сложные сценарии, охватывающие связанные системы, данные и разрешения, использовать их для выявления областей, в которых агенты испытывают трудности, и улучшать инструменты, вызываемые агентами, следуемые ими навыки, получаемый ими контекст и используемые ими модели. Работая с командами AI Research, Connectors и Platform, вы будете превращать экспериментальные результаты в измеримые успехи в выполнении задач, сокращении задержек и снижении стоимости за успешную задачу. Цель состоит не только в измерении производительности агентов, но и в том, чтобы сделать больше корпоративной работы надежной и практичной для автоматизации.
Создание реалистичных корпоративных сред для оценки, охватывающих связанные приложения, репрезентативные наборы данных, роли пользователей и разрешения, со сложными многоэтапными рабочими процессами и воспроизводимым состоянием системы
Управление инфраструктурой оценки, наборами задач и автоматизированными оценщиками, которые измеряют, насколько хорошо агенты выполняют корпоративные задачи, откалиброванными по человеческой оценке и основанными на сквозных результатах
Анализ траекторий агентов и сбоев в производственной среде, выявление первопричин и внедрение улучшений в системе управления агентами, инструментах и навыках, которые измеримо повышают успешность выполнения задач и надежность
Разработка повторно используемых навыков и улучшение описаний инструментов, схем и обработки результатов, чтобы агенты могли выбирать правильные инструменты, корректно выполнять рабочие процессы и восстанавливаться после ошибок с меньшим количеством ненужных вызовов
Разработка и оценка стратегий выбора и маршрутизации моделей, которые сопоставляют каждую задачу с правильной моделью и уровнем усилий, балансируя качество, задержку, надежность и стоимость
Повышение эффективности агентов за счет управления контекстом, загрузки навыков, кэширования и стратегий выполнения, которые сокращают количество потерянных токенов и стоимость за успешную задачу без ущерба для качества или безопасности
Создание регрессионных проверок и сигналов готовности к запуску для изменений моделей, коннекторов, инструментов, навыков и систем управления, а также проверка того, что выгоды от оценки трансформируются в лучшие производственные результаты
Опыт работы инженером-программистом или инженером по машинному обучению более 5 лет, с подтвержденным опытом управления сложными производственными системами от проектирования до развертывания и эксплуатации
Сильные навыки системного проектирования, включая создание надежной, масштабируемой инфраструктуры для экспериментов, оценки или приложений, интенсивно работающих с данными
Глубокое знание серверного языка, такого как Python, Go или Rust, и способность эффективно работать с многоязычным производственным стеком
Практический опыт создания, оценки или улучшения приложений или агентов на основе LLM, включая использование инструментов и многоэтапные рабочие процессы
Глубокая экспертиза по крайней мере в одной из следующих областей:
Инфраструктура оценки, разработка бенчмарков и автоматизированная оценка
Системы управления агентами, интерфейсы инструментов и повторно используемые навыки для сложных рабочих процессов
Реалистичные тестовые среды или симуляции, охватывающие несколько систем, наборы данных, разрешения и рабочие процессы с сохранением состояния
Выбор, маршрутизация и эффективность инференса моделей, включая управление контекстом и кэширование
Сильное экспериментальное и статистическое суждение, включая выбор репрезентативных задач, определение значимых критериев успеха, диагностику сбоев и отличие реальных улучшений от шума
Здравое техническое суждение в балансировке качества задачи, задержки, надежности и стоимости, с подтвержденным опытом преобразования результатов оценки в реализованные улучшения
Подтвержденный опыт руководства неопределенными, кросс-функциональными инициативами от архитектуры до внедрения в производство, определения технического направления и повышения качества инженерии через наставничество
Если вас заинтересовала эта вакансия, мы призываем вас подать заявку, даже если вы не соответствуете всем требованиям. Мы ценим продемонстрированное влияние, глубокую ответственность и инициативу по превращению неопределенности в результаты.
Компенсация: $220K - $405K в год
Compensation: $220K - $405K per year
ABOUT THE ROLE
The Enterprise Agent Evals & Efficiency team makes Perplexity's agents better at completing real work across enterprise connectors, tools, and data. Our goal is to help agents choose the right tools, use the right context, and complete complex workflows reliably, with less time and compute. This team owns the improvement loop: define what successful work looks like, build evaluations that measure it, understand where agents fail, and ship changes that improve outcomes.
This is a hands-on engineering role with end-to-end ownership, from building realistic enterprise evaluation environments to shipping improvements across the agent harness, tools, and skills. You'll create complex scenarios spanning connected systems, data, and permissions, use them to identify where agents struggle, and improve the tools agents call, the skills they follow, the context they receive, and the models they use. Working with AI Research, Connectors, and Platform teams, you'll turn experimental results into measurable gains in task success, latency, and cost per successful task. The goal is not just to measure agents, but to make more enterprise work reliable and practical to automate.
KEY RESPONSIBILITIES
Build realistic enterprise evaluation environments spanning connected applications, representative datasets, user roles, and permissions, with complex, multi-step workflows and reproducible system state.
Own evaluation infrastructure, task suites, and automated graders that measure how well agents complete enterprise work, calibrated against human judgment and grounded in end-to-end outcomes.
Analyze agent trajectories and production failures, identify root causes, and ship improvements across the agent harness, tools, and skills that measurably improve task success and reliability.
Develop reusable skills and improve tool descriptions, schemas, and result handling so agents can select the right tools, execute workflows correctly, and recover from errors with fewer unnecessary calls.
Build and evaluate model-selection and routing strategies that match each task to the right model and effort level, balancing quality, latency, reliability, and cost.
Improve agent efficiency through context management, skill loading, caching, and execution strategies that reduce wasted tokens and cost per successful task without compromising quality or safety.
Build regression gates and launch-readiness signals for model, connector, tool, skill, and harness changes, and validate that evaluation gains translate into better production outcomes.
QUALIFICATIONS
5+ years of software engineering or machine learning engineering experience, with a track record of owning complex production systems from design through deployment and operation.
Strong system design skills, including building reliable, scalable infrastructure for experimentation, evaluation, or data-intensive applications.
Strong proficiency in a backend language such as Python, Go, or Rust, and the ability to work effectively across a multi-language production stack.
Hands-on experience building, evaluating, or improving LLM-based applications or agents, including tool use and multi-step workflows.
Deep expertise in at least one of the following:
Evaluation infrastructure, benchmark design, and automated grading.
Agent harnesses, tool interfaces, and reusable skills for complex workflows.
Realistic test environments or simulations spanning multiple systems, datasets, permissions, and stateful workflows.
Model selection, routing, and inference efficiency, including context management and caching.
Strong experimental and statistical judgment, including choosing representative tasks, defining meaningful success criteria, diagnosing failures, and distinguishing real improvements from noise.
Sound technical judgment in balancing task quality, latency, reliability, and cost, with a track record of translating evaluation findings into shipped improvements.
A track record of leading ambiguous, cross-team initiatives from architecture through production adoption, setting technical direction, and raising engineering quality through mentorship.
If you’re excited about this role, we encourage you to apply even if you don’t meet every qualification. We value demonstrated impact, deep ownership, and the initiative to turn ambiguity into results.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 254 000 до 318 000
