Название: Старший инженер по прикладной ИИ, качество агентов и оценки
Местоположение: Удаленно
Flodesk признана Inc 5000 как одна из самых быстрорастущих компаний в мире в области email-маркетинга, созданная для того, чтобы помочь предпринимателям продавать онлайн и создавать рассылки, которые нравятся получателям. Мы стремимся предоставлять малому бизнесу простые и интуитивно понятные инструменты, которые помогают им расти, развивать и монетизировать свою базу подписчиков.
Мы — компания с преимущественно удаленной работой, со штаб-квартирой в Сан-Франциско и глобально распределенной командой, включая офисы в Дананге (Вьетнам), Барселоне (Испания) и Менло-Парке (Калифорния). Наша команда отражает разнообразие и креативность людей, которых мы обслуживаем. Присоединяйтесь к нашей миссии по выравниванию игрового поля для владельцев малого бизнеса посредством хорошего дизайна.
О роли
Flodesk работает над будущим, в котором владельцам малого бизнеса не нужно быть экспертами в маркетинге, чтобы расти. Сегодня наш ИИ помогает участникам создавать и редактировать рассылки, но это только начало. Мы создаем систему, которая сможет понимать бизнес, бренд, аудиторию и прошлые результаты участника, а затем поможет превратить цель в полную маркетинговую кампанию, охватывающую email-рассылки, рабочие процессы, формы, страницы продаж, сегментацию, планирование, аналитику и рекомендации.
Отчитываясь перед руководителем отдела продуктовой ИИ-системы и основного опыта, вы будете формировать поведение этой системы и то, как мы определяем ее качество. Вы будете отвечать за промпты Flodesk, инструкции для агентов, определения качества, критерии оценки и цикл непрерывного совершенствования, создавая технические инструменты, прототипы и инфраструктуру оценки, которые делают эту работу измеримой и масштабируемой. Это не роль для написания остроумных промптов в изоляции. Это практическая системная работа, связывающая инженерию, продукт и естественный язык. Вам нужно будет понимать, как контекст, модели, инструменты, состояние продукта и структурированные выходные данные объединяются для создания пользовательского опыта, а затем определять правильный уровень для изменения, когда этот опыт дает сбой.
Что вы будете делать
- Управлять поведением ИИ, ориентированного на участников, от генерации по промпту до редактирования с помощью агентов и будущих задач, таких как сегментация, планирование, аналитика и рекомендации.
- Создавать, тестировать, версионировать и документировать промпты и инструкции для агентов с четким учетом того, что изменилось, почему изменилось и как улучшилось поведение.
- Определять, как система должна использовать контекст, данные участника, инструменты и состояние продукта. Создавать и прототипировать циклы агентов, инструменты и структурированные интерфейсы, необходимые для обеспечения работы такого поведения.
- Отвечать за практику оценки ИИ в Flodesk, включая репрезентативные наборы данных, поведенческие сценарии, матрицы оценки, наборы регрессионного тестирования и человеческий обзор.
- Создавать и эксплуатировать средства оценки, панели мониторинга и качества, чтобы команда могла измерять качество без необходимости ручных проверок.
- Диагностировать сбои в промптах, контексте, оркестрации, моделях, инструментах, данных и коде продукта, а затем исправлять на правильном уровне или сотрудничать с инженером, который за это отвечает.
- Устанавливать базовые уровни качества и критерии выпуска для изменений промптов, моделей и агентов. Превращать сбои в продакшене, трассировки и отзывы участников в долгосрочные регрессионные случаи.
- Сотрудничать с экспертами по продукту, дизайну, маркетингу и копирайтингу для кодирования точки зрения Flodesk в систему, внося при этом собственное суждение о том, как должен вести себя продукт.
Что вы принесете
- Опыт создания или значительного улучшения рабочих LLM или агентских продуктов, а не только прототипов.
- Сильные навыки разработки программного обеспечения на Python, TypeScript или аналогичном языке, позволяющие создавать надежные внутренние инструменты, системы оценки и прототипы.
- Четкое понимание взаимодействия между промптами, контекстом, инструментами, циклами агентов, оркестрацией и состоянием продукта.
- Прямой опыт в области оценки LLM, наблюдаемости и экспериментального дизайна, а также знание того, как сочетать автоматизированные проверки с человеческим суждением.
- Сильное продуктовое чутье, помогающее переводить неоднозначные отзывы участников в тестируемые определения качества и конкретные системные изменения.
- Системное мышление и повторно используемые шаблоны, которые направляют вашу работу, так что сегодняшний опыт работы с email улучшается без создания предположений, затрудняющих создание будущих поверхностей.
- Четкая коммуникация между техническими и нетехническими дисциплинами, позволяющая объяснять компромиссы, связанные с качеством, задержкой, надежностью и стоимостью.
Бонусные баллы, если вы:
- Создавали инструменты для генерации контента, креативные или маркетинговые инструменты.
- Создавали многопользовательские агенты, которые используют инструменты и сохраняют намерение пользователя при редактировании.
- Использовали Langfuse, Braintrust или сопоставимые платформы для оценки и наблюдаемости.
- Работали над продуктами для малого бизнеса, создателей контента или маркетологов.
Что мы предлагаем
- Базовая зарплата от 150 000 до 250 000 долларов США, в зависимости от вашего местоположения и опыта.
- Жители городов уровня 1: 165 000 - 250 000 долларов США.
- Все остальные локации в США: 150 000 - 235 000 долларов США.
- Полностью оплачиваемая медицинская страховка для индивидуального покрытия.
- 16 недель оплачиваемого отпуска по уходу за ребенком для нерожающих родителей; 22 недели оплачиваемого отпуска по беременности и родам для рожающих родителей.
- Неограниченное гибкое время отпуска.
- Соответствие 401(k) (только для сотрудников из США).
- Ежегодная стипендия в размере 1000 долларов США на обучение и развитие.
Flodesk является работодателем с равными возможностями. Мы стремимся к созданию разнообразного и инклюзивного рабочего коллектива и не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, происхождения, физических или психических нарушений, состояния здоровья, генетической информации, семейного положения, пола, гендера, гендерной идентичности, гендерного самовыражения, возраста, сексуальной ориентации, статуса ветерана или военнослужащего или любых других характеристик, защищенных законом. Flodesk обязуется предоставлять разумные условия для кандидатов с ограниченными возможностями, которым требуется помощь в процессе найма. Чтобы запросить разумное условие, напишите по адресу контакт рекрутера
