Software Engineering Director, Agentic Evaluations

Title: Software Engineering Director, Agentic Evaluations Location: Remote (US)

Compensation: $260K - $320K per year

About G2 - The Company

G2 — крупнейший и наиболее авторитетный в мире маркетплейс программного обеспечения. Присоединяясь к G2, вы присоединяетесь к ведущей команде отрасли, которая помогает компаниям достигать своего максимального потенциала, используя надежные данные от реальных пользователей ПО для принятия решений и разработки стратегий.

Теперь мы объединили усилия с Capterra, SoftwareAdvice и GetApp, чтобы создать крупнейший источник онлайн-данных и аналитики ПО для поддержки интеллектуальных закупок в эпоху ИИ. С более чем 200 миллионами ежегодных посетителей и 6 миллионами проверенных отзывов мы стали централизованным местом, где покупатели ПО могут уверенно принимать более обоснованные и быстрые решения.

И это только начало! Мы стремимся трансформировать глобальную индустрию B2B-ПО и стать самым надежным фундаментом данных для покупателей и продавцов ПО в эпоху ИИ.

Звучит интересно? Присоединяйтесь к нам, пока мы пытаемся достичь нашего следующего PEAK!

About G2 - Our People

В G2 все, что мы есть и что мы делаем, основано на наших ценностях PEAK — (Performance + Entrepreneurship + Authenticity + Kindness — Производительность + Предпринимательство + Аутентичность + Доброта). Работая в G2, вы становитесь частью глобального сообщества, основанного на ценностях и постоянно растущего, которое вместе покоряет PEAKs. Мы радуемся успехам друг друга, учимся на ошибках, поддерживаем и полагаемся друг на друга в трудные времена. Обладая амбициями и предпринимательским духом, мы побуждаем друг друга браться за сложную работу, которая поможет всем нам расти и учиться.

Вы станете частью глобальной, разнообразной команды умных, преданных своему делу и добрых людей — каждый со своими уникальными талантами, стремлениями и жизненным опытом. В основе нашего сообщества и культуры лежат наши ERG (Employee Resource Groups), управляемые сотрудниками, которые отмечают и освещают разнообразные идентичности нашей глобальной команды. Как организация, мы целенаправленно занимаемся вопросами DEI (Diversity, Equity, Inclusion — многообразие, равенство, инклюзивность) и благотворительной деятельностью (например, нашей программой G2 Gives), потому что это побуждает нас всех становиться лучше.

О РОЛИ

Краткое описание обязанностей:

В качестве директора по разработке программного обеспечения, отвечающего за оценку агентов (Software Engineering Director, Agentic Evaluations), ваши обязанности будут сосредоточены на предоставлении полезных и достоверных оценок агентов, предлагаемых поставщиками ПО. Вы будете совершенствовать систему, которая выполняет проверку производительности агентов, и руководить основной командой, стоящей за ней. Вы будете использовать подходы, основанные на принципе "agent-first" (сначала агент), применяя методы "agentic engineering" (инженерия агентов) для внедрения результатов вашей работы в производство.

ПОДРОБНОЕ ОПИСАНИЕ ОБЯЗАННОСТЕЙ:

Создание и усовершенствование систем оценки агентов, работающих с реальными агентами [80%]:

• Помощь в определении масштаба, осуществимости и трудозатрат, связанных с оценкой агента, предлагаемого поставщиком ПО, определение наиболее практичного пути к получению достоверной оценки.
• Ответственность за полный стек основной системы оценки, от интерфейса администратора и API до диспетчеризации рабочих процессов оценки.
• Проектирование примитивов системы оценки, обобщаемых для различных категорий программного обеспечения, чтобы внедрение новой категории приносило пользу за счет повторного использования.
• Выделение соответствующих и повторяемых процессов при внедрении и поддержке интеграций в воспроизводимые AI-навыки или агентов для увеличения скорости оценки.
• Отслеживание новых фреймворков и методов оценки агентов, которые предлагают улучшения в оценках, и предоставление общепринятых отраслевых способов распространения результатов оценки.
• Сотрудничество с коллегами из отдела науки о данных в их стремлении разработать богатые и проприетарные бенчмарки.

Руководство группой инженеров и оказание более широкого влияния [20%]:

• Вы будете способствовать росту и наставничеству основной команды инженеров, а также выступать в качестве источника технического лидерства и предметной экспертизы в области оценок для них.
• Вы также будете помогать в популяризации использования оценок в продуктах, ориентированных на агентов, созданных более широкой организацией.

МИНИМАЛЬНЫЕ ТРЕБОВАНИЯ:

Мы понимаем, что подача заявок на вакансии иногда может вызывать опасения. Даже если вы не соответствуете всем требованиям, указанным в описании вакансии, мы призываем вас все равно подать заявку.

• Более 10 лет профессионального опыта программирования в бэкенд- или full-stack-средах.
• Более 2 лет опыта прямого управления инженерами.
• Экспертный уровень владения бэкенд-разработкой с использованием таких языков, как Python, Java/Kotlin, Typescript/JavaScript или Go; высокий уровень владения соответствующими бэкенд-фреймворками, такими как FastAPI или Node.js.
• Прямой опыт создания оценок (evals) для клиентских агентов с использованием данных траектории агента и рубрик для измерения коэффициента выполнения задач агентом, его точности, правильности или соблюдения политики.
• Прямой опыт использования передовых моделей от OpenAI, Anthropic или Google в приложениях LLM-as-a-judge (LLM как судья).
• Регулярное использование фреймворков для кодирования агентов, таких как Claude Code, Codex, Opencode или Pi, в рамках ежедневного рабочего процесса разработки.
• Степень бакалавра (BS/BA) в смежной области.

ЧТО МОЖЕТ ВЫДЕЛИТЬ ВАШУ ЗАЯВКУ:

• Опыт использования инструментов агентов посредством прямой интеграции или посредничества серверов MCP.
• Знание STATE-Bench, tau2-bench или аналогичных фреймворков бенчмарков.
• Опыт использования Playwright, browser-use, Chrome DevTools MCP или других инструментов для управления пользовательскими потоками в браузере.
• Опыт работы с фреймворками долгосрочного выполнения и решениями для рабочих процессов, такими как Temporal, DBOS, Cloudflare / Vercel Workflows или аналогичными; или опыт изоляции агентов с использованием AWS E2B, Daytona, Cloudflare / Vercel Containers или аналогичными.

Наша приверженность инклюзивности и многообразию

В G2 мы стремимся создавать инклюзивную и разнообразную среду, в которой люди любого происхождения могут преуспевать и чувствовать себя желанными. Мы рассматриваем кандидатов независимо от расы, цвета кожи, вероисповедания, религии, национального происхождения, генетической информации, гендерной идентичности или выражения, сексуальной ориентации, беременности, возраста или семейного положения, статуса ветерана или физических или умственных отклонений. Узнайте больше о наших обязательствах здесь.

--

Для соискателей работы в Калифорнии, Великобритании и Европейском союзе, пожалуйста, ознакомьтесь с этим уведомлением о конфиденциальности для заявителей перед подачей заявки на эту вакансию.

Как мы используем технологии ИИ в процессе найма G2 использует технологии на базе ИИ для улучшения процесса оценки кандидатов. Эти инструменты могут помочь при первичном отборе заявок, анализе результатов оценки навыков и выявлении кандидатов, чья квалификация соответствует требованиям конкретной роли. Хотя технологии ИИ поддерживают наш процесс подбора персонала, все окончательные решения о найме остаются под человеческим надзором и контролем.

Ваш выбор имеет значение: Если вы предпочитаете, чтобы ваша заявка была рассмотрена без помощи ИИ, вы можете отказаться, введя свой адрес электронной почты в соответствующее поле внизу уведомления о автоматизированной обработке. Выбор отказа не поставит вашу заявку в невыгодное положение — мы позаботимся о том, чтобы ваши материалы были тщательно рассмотрены нашим отделом кадров вручную. Для получения дополнительной информации о том, как мы обрабатываем вашу информацию на протяжении всего процесса подачи заявки, пожалуйста, ознакомьтесь с уведомлением о конфиденциальности для заявителей G2.