AI Engineering Lead

Описание Upwind — это облачная платформа безопасности нового поколения, которая использует контекст времени выполнения для выявления и приоритизации критических рисков, предоставляя точную аналитику и эффективное управление облачной безопасностью. В отличие от традиционных инструментов, Upwind проактивно использует данные времени выполнения для приоритизации рисков и аналитики состояния, гарантируя, что команды сосредоточатся на том, что действительно важно. Благодаря лидирующей в отрасли эффективности и датчикам на базе eBPF, Upwind предоставляет комплексные возможности, включая безагентное обнаружение состояния облака, защиту от угроз в реальном времени и интегрированную безопасность API. От неправильных конфигураций до защиты от вредоносных программ — Upwind обеспечивает сквозную, экономически эффективную защиту облачной инфраструктуры.

В Upwind у вас будет возможность работать над одними из самых сложных задач в области прикладного ИИ и безопасности, превращая передовые исследования и возможности LLM в продукты, которые работают в реальных клиентских средах.

Мы ищем AI Engineering Lead, который поможет повысить качество, интеллектуальность и непрерывное совершенствование систем ИИ и агентов Upwind.

Это практическая руководящая роль в области инженерии ИИ, ориентированная на данные, оценку и рабочие процессы агентов. Вы будете создавать системы и методологии, которые позволят нам понять, как работают наши агенты, выявить их сбои и постоянно улучшать их рассуждения, использование инструментов и результаты.

Вы будете тесно сотрудничать с исследователями ИИ, инженерами и командами по продуктам, чтобы превратить эксперименты в надежные, высокопроизводительные системы ИИ — от определения наборов данных для оценки и метрик до улучшения рабочих процессов агентов и их масштабирования.

• У вас будет возможность работать над ИИ-системами, которые решают реальные, сложные проблемы безопасности — а не демо или прототипы
• Вы станете частью команды, создающей следующее поколение агентов безопасности на базе ИИ, с возможностью повлиять на то, как мы оцениваем, улучшаем и масштабируем эти системы с нуля

• Рабочие процессы агентов: Проектирование и постоянное улучшение многошаговых рабочих процессов агентов, включая рассуждения, использование инструментов, планирование, управление состоянием и стратегии восстановления

• Оценка ИИ: Создание фреймворков для оценки, наборов данных, метрик и автоматизированных конвейеров для измерения качества и надежности LLM и агентов

• Инфраструктура данных ИИ: Создание конвейеров данных и циклов обратной связи, необходимых для сбора, курирования, анализа и обучения на основе взаимодействий агентов в реальном мире

• Наблюдаемость ИИ: Обеспечение видимости поведения и производительности агентов, включая траектории, вызовы инструментов, задержку, сбои и качество результатов

• Отвечать за стратегию оценки ИИ-агентов Upwind и функций на базе LLM и развивать ее

• Определять значимые метрики и автоматизированные конвейеры оценки для измерения качества, точности, надежности и завершенности задач агентов

• Проектировать и улучшать рабочие процессы агентов, чтобы сделать их более способными, надежными, эффективными и предсказуемыми

• Создавать циклы обратной связи от производственного использования для наборов данных оценки и рабочих процессов разработки

• Разрабатывать инструменты для проведения экспериментов и сравнения моделей, промптов, рабочих процессов и конфигураций агентов

• Тесно сотрудничать с исследователями ИИ, чтобы превратить исследовательские идеи и эксперименты в возможности ИИ производственного качества

• Взаимодействовать с бэкенд-инженерами для интеграции рабочих процессов ИИ и систем оценки в нашу производственную платформу

• Устанавливать лучшие практики для тестирования и валидации недетерминированных систем ИИ

• Мониторить ИИ-системы в производстве и постоянно выявлять возможности для улучшения

• Полностью отвечать за проекты — от определения проблемы и создания первого эксперимента до внедрения в производство и измерения его влияния

• Значительный опыт в инженерии с подтвержденным опытом владения и внедрения сложных технических систем
• Практический опыт создания приложений, агентов или ИИ-систем на базе LLM
• Глубокое понимание оценки LLM, экспериментирования и разработки на основе данных
• Опыт проектирования и внедрения оценок LLM-as-a-Judge, включая критерии оценки, шкалы оценки, структурированные выходные данные и валидацию надежности оценщика
• Отличные навыки решения проблем и способность анализировать сложное поведение ИИ и превращать наблюдения в конкретные улучшения
• Опыт работы с рабочими процессами агентов, вызовами инструментов, многошаговыми рассуждениями или оркестрацией ИИ
• Способность тесно сотрудничать с исследователями и инженерами и преодолевать разрыв между экспериментами и производством
• Комфортная работа в быстро меняющейся среде, где требования и технологии быстро развиваются

Сильные преимущества:

• Опыт работы с фреймворками оценки LLM и автоматизированными конвейерами оценки
• Подтвержденный опыт работы с методологиями LLM-as-a-Judge, включая калибровку оценщиков по сравнению с человеческими оценками, измерение согласованности оценщиков и снижение предвзятости оценки
• Опыт работы с LangGraph, LangChain или сопоставимыми фреймворками оркестрации агентов
• Опыт работы в сфере безопасности, инфраструктуры или других сложных технических областях
• Опыт создания производственных ИИ-систем, где точность и надежность имеют решающее значение
• Отличные навыки работы с Python и опыт работы с инструментами обработки данных и ИИ/МО